Les expériences agentiques reposent souvent sur des dizaines, voire des centaines, de micro-inférences en chaîne par session. Le moindre délai s'accumule, ce qui ralentit et fragilise les expériences.
L'entraînement est gourmand en calcul et ponctuel. Il opère généralement par cycles discrets. L'inférence est continue, alimentée par les interactions des utilisateurs, et peut impliquer plusieurs appels dépendants au cours d'un même échange.
Il s'agit d'une approche d'infrastructure conçue pour l'inférence distribuée, en temps réel et sensible à la latence à l'échelle mondiale, combinant des GPU largement distribués à la prise de décision native en bordure de l'Internet.
Des usines d'IA centralisées pour l'entraînement, le réglage précis et l'inférence intensive ou « one-shot ».
Une couche GPU distribuée au plus près des utilisateurs pour l'inférence en temps réel et sensible à la latence.
Une couche de sécurité et de routage en bordure de l'Internet chargée d'évaluer, de protéger et d'acheminer les requêtes avant qu'elles n'atteignent les GPU.
Elle valide et classifie les requêtes entrantes, filtre les menaces et les bots, gère la sécurité des jetons et le trafic sensible en matière de confidentialité, puis achemine les requêtes vers l'emplacement GPU optimal en fonction de la latence, du coût et de la disponibilité.
Placer les GPU près des centres de population réduit la latence, augmente la capacité de traitement concurrent et limite les transferts longue distance sur le réseau, ce qui est essentiel pour l'inférence en temps réel et l'orchestration agentique.
Les charges de travail nécessitant une réactivité en temps réel et s'exécutant près des utilisateurs ou des données, notamment les flux de travail agentiques, les applications multimodales et les scénarios exigeants en intelligence multimédia/vidéo.
Les analyses de la plateforme Akamai suggèrent que 10 à 15 ms de délai supplémentaire peuvent accroître l'abandon lors des flux de vente au détail critiques, un effet qui s'amplifie dans le cas de micro‑inférences en chaîne.
Il présente plusieurs phases : d'abord, l'activation de l'inférence distribuée, puis l'intelligence multimodale en temps réel, et enfin les applications entièrement agentiques capables de récupérer des données, de planifier des tâches et de collaborer avec d'autres agents.
