Agentische Erlebnisse sind pro Sitzung oft von Dutzenden oder Hunderten von verketteten Mikroinferenzen abhängig. Selbst kleine Verzögerungen summieren sich und machen die Erlebnisse langsam und inkohärent.
Das Training ist rechnerisch intensiv und unregelmäßig. Es wird üblicherweise in diskreten Zyklen durchgeführt. Die Inferenz ist kontinuierlich, wird durch Nutzerinteraktionen gesteuert und kann mehrere abhängige Anrufe pro Interaktion umfassen.
Dabei handelt es sich um einen Infrastrukturansatz, der für verteilte, latenzsensitive Inferenzen in Echtzeit auf globaler Ebene entwickelt wurde. Dabei werden stark verteilte GPUs in Kombination mit edgenativer Entscheidungsfindung verwendet.
Zentralisierte KI-Fabriken für Training, Feinabstimmung und komplexe oder „One-Shot“-Inferenz.
Eine verteilte GPU-Schicht in der Nähe von Nutzern für latenzempfindliche Inferenzen in Echtzeit.
Eine Edge-Routing- und -Sicherheitsebene, um Anfragen zu bewerten, zu sichern und weiterzuleiten, bevor sie GPUs erreichen.
Sie validiert und klassifiziert eingehende Anfragen, filtert Bedrohungen und Bots, verarbeitet Tokensicherheit und datenschutzsensiblen Traffic und leitet Anfragen basierend auf Latenz, Kosten und Verfügbarkeit an den besten GPU-Standort weiter.
Die Platzierung von GPUs in der Nähe von Bevölkerungszentren reduziert die Latenzzeit, erhöht die Parallelität und minimiert lange Netzwerkstrecken, was für die Inferenz und agentische Orchestrierung in Echtzeit entscheidend ist.
Workloads, die Reaktionsfähigkeit in Echtzeit erfordern und in der Nähe von Nutzern oder Daten laufen müssen, einschließlich agentischer Workflows, multimodaler Anwendungen und anspruchsvoller Medien-/Video-Informationsszenarien.
Plattformanalysen von Akamai deuten darauf hin, dass bereits eine zusätzliche Verzögerung von 10 bis 15 ms bei kritischen Abläufen im Einzelhandel zu einer höheren Abbruchrate führen kann, die bei der Verkettung von Mikroinferenzen noch deutlicher wird.
Es umreißt Phasen: Zuerst die Aktivierung verteilter Inferenz, dann multimodale Echtzeit-Intelligenz, dann vollständig agentische Anwendungen, die Daten abrufen, Aufgaben planen und mit anderen Agenten zusammenarbeiten können.
