AI 破局,抓住边缘

Jon Alexandar

Oct 28, 2025

Jon Alexander

Jon Alexandar

寫於

Jon Alexander

Jon Alexander は、Product Management 担当 VP であり、CDN やオリジンサービス製品などの Akamai Edge Delivery ポートフォリオを担当しています。

分享

内容提要

  • Akamai Inference Cloud 是一个全堆栈云平台,它使企业能够在边缘构建、保护和优化 AI 赋能的应用程序。

  • 该平台旨在为能够适应用户、与其他智能体进行通信并实时采取行动的智能体系统提供支持。

  • 主要特性包括采用 NVIDIA Blackwell GPU、托管 Kubernetes、向量数据库和 AI 感知安全性。

  • 该平台为三种特定用户赋能:机器学习运营工程师、AI 工程师和智能体系统架构师。

  • Akamai Inference Cloud 为在任何地方部署先进 AI 系统提供了可靠、安全且可扩展的基础。

2017 年,一篇研究论文悄然改变了技术的发展方向。《Attention Is All You Need》提出了 Transformer 架构,这是一种用于处理语言和数据的新型模型。该架构迅速奠定了人工智能 (AI) 领域几乎所有重大进展的基础。当时,这项突破的影响主要局限于学术界和开发人员群体。

五年之后的 2022 年 11 月,OpenAI 推出了 ChatGPT。这是公众首次能够亲身体验基于该架构所实现的系统。这开创了一种全新的交互模式——它不仅是与机器的交互,更是与知识本身的交互。 

现在,距离该模型的发布仅仅过去了三年,OpenAI 报告称其周活跃用户数超过 7 亿。 

世界经济论坛指出:AI 正从两个维度给劳动力市场带来颠覆性冲击。一方面,自动化让许多传统岗位出现了人才冗余。另一方面,市场对 AI 素养的需求迅猛增长,其速度超过了教育和招聘系统的适应能力。旧有的工作模式以及我们为此培养人才的方式都在迅速演变。

这仅仅是序章的结束。

承前启后,继往开来

二十七年前,世界也处于一个类似的转折点。当时互联网正在迅速扩张,但规模、可靠性和安全性问题尚未得到解决。在这样的背景下,麻省理工学院的一群研究人员创立了 Akamai,其使命十分明确,即解决“万等网”问题。

他们通过将计算、存储和网络部署在更靠近数据生成点和使用点的位置实现了这一目标,而在此之后这种模式被频繁效仿。

智能体 Web 的兴起让我们又回到了原点,它再次带来了新的规模化和邻近性挑战,这些挑战是 AI 以及实现其潜力所需推理能力所独有的。

我们今天宣布推出的 Akamai Inference Cloud 基于我们近三十年前率先开创的分布式架构工作,旨在将 AI 推理从核心数据中心扩展至边缘,同时再次消除瓶颈并突破集中式基础架构的限制。

智能体 Web

这种新一代的智能系统无需再等待人类的指令或输入;它们可以进行观察、推理并代表以自然语言表达意图的用户执行操作。这些系统会主动采取行动,与其他系统协同工作,并且无需分步说明即可交付成果。这就是智能体 Web。

智能体 Web 正在改变人和机器与数字服务进行交互的方式。体验正朝着对话式、多模态和个性化的方向发展。交互应当适应用户的意图,而不是反过来让用户去适应交互。当用户请求获取推荐时,系统会根据其个人偏好、具体情境及所用设备,以语音摘要、可视化对比或详细文字解析等不同形式来呈现结果。系统会选择最适合的格式和语调。

智能体驱动的交互需要新的支持方式

随着这些智能体驱动的交互变得无处不在,企业需要采取新方法为这些交互提供支持。推理必须更靠近用户。响应时间必须是可预测的,并且要短。工具和存储器必须实时可用。整个技术栈必须支持代表用户和系统工作的智能体,而不仅仅是处理一次性请求。

这种转变已在进行中,但如今的集中式云平台并非设计用于向其提供支持。各公司不得不在原始基础架构与受限制的解决方案之间进行抉择。我们所缺少的是专为智能体 AI 构建的平台,该平台需要能够降低复杂性、加快开发速度,并在全球范围内实现智能行为。

Akamai Inference Cloud 创造未来无限可能

Akamai Inference Cloud 创造未来无限可能。其云和 AI 的架构以智能体系统和应用的需求为核心,这些系统和应用能够根据用户进行自适应、与其他智能体交互,并实时执行操作。

其独特的分布式架构专门设计以支持这些模式,提供复杂推理工作负载所需的高性能计算、存储与编排,同时将路由、控制和响应能力更贴近用户。

我们的客户面临四项关键任务:

  1. 为 AI 赋能的应用程序提供强劲动力

  2. 有效管理 AI 这一新兴流量渠道

  3. 为企业级工作负载合理配置 AI 智能体

  4. 确保员工负责任地使用 AI

为 AI 赋能的应用程序提供强劲动力

将智能融入核心应用程序是所有企业发展的必然趋势。这标志着应用架构已迈入全新阶段:继响应式设计与多云架构之后,正向着 AI 集成式实时系统演进。Akamai 始终是值得信赖的中坚力量,能够为每次演进提供支持和保障。

有效管理 AI 这一新兴流量渠道

用户正通过 AI 平台接触品牌,就像他们曾经通过搜索、社交媒体或移动设备接触品牌那样。每个品牌、应用程序和 API 都需要明确定义其期望与非期望的 AI 交互,并智能地管理相关流量,从而将 AI 流量从风险转化为机遇。

为企业级工作负载合理配置 AI 智能体

我们的客户正在使用 AI 智能体来运营从基础架构管理到数据分析的部分业务。智能体需要访问与内部和外部系统相关的一流资源,但必须采取适当的防护措施(信任、身份、监测能力和安全性),这样企业才能能够自信、高效地扩展其 AI 运营环境。

确保员工负责任地使用 AI

如今,从 Copilot、Cursor 到 ChatGPT、Claude,AI 服务已深入到各行各业的日常工作中。随之而来的是,企业必须有效管理员工使用这些服务时的行为,确保其合规、成本可控,并保障数据安全。

Akamai Inference Cloud 正是实现 AI 推理规模化的关键

什么是 Akamai Inference Cloud?

Akamai Inference Cloud 是一个全栈云平台,设计用于构建、保护和优化由 AI 赋能的新一代智能应用。它提供了计算、存储、网络、编排、安全和开发人员工具,这些工具旨在满足实时推理、智能体系统和更靠近用户的智能服务的独特需求(表)。

 

 

构建

保护

优化

面临的问题

  • API 的托管成本高昂

  • 集中推理速度缓慢

  • 托管您自己的模型很难

     

     

     

  • AI 爬虫程序在不断抓取内容

  • AI 端点在不断泄露敏感数据

  • AI 端点正在被滥用

  • 攻击者正在利用 DDoS 攻击和资源耗尽攻击

  • 传统 Web 对于 AI 搜索来说是看不到的

  • AI 交互速度缓慢

  • 成本会不断攀升

  • 智能体需要一个用于发现、验证、身份、信任等的框架

     

解决方案

带有开发人员平台的分布式智能基础架构

AI 感知爬虫程序管理和 API 安全(应用程序、API 和 AI 保护,与 AI 感知爬虫程序管理协同工作)

面向人类和智能体的 AI 连接网格

产品

  • NVIDIA Blackwell GPU

  • NVIDIA BlueField DPU

  • Managed K8s

  • K8s 开发人员平台

  • 向量数据库

  • 对象/块存储

  • 备份和快照

  • VPC

  • 功能

 

  • AEO/GEO

  • 语义缓存

  • LLM 速率限制和配额

  • MCP 服务器

  • CDN 加速

  • 功能

  • 可观察性

     

Akamai Inference Cloud 是一个全栈云平台,设计用于构建、保护和优化由 AI 赋能的新一代智能应用程序

该平台为谁而设计

Akamai Inference Cloud 是一个模块化平台,可满足客户的当前需求。无论您是在应用程序中使用 OpenAI 和 Gemini 的托管 API 端点,还是基于自己经过微调、蒸馏的模型来构建智能体工作流,Akamai Inference Cloud 都能让您在边缘进行构建、保护和优化。

具体来说,我们正在为三种特定用户赋能:

  1. 机器学习运营工程师 (MLOps):负责将整个机器学习生命周期自动化,以确保模型能够在生产环境中持续进行重新训练、部署和性能监控的工程师

  2. AI 工程师:数据科学家或负责开发端到端智能体应用程序的软件工程师,他们通常会使用预训练模型,并致力于打通数据科学研究与生产软件之间的壁垒

  3. 智能体系统架构师:从传统系统架构师演进而来的新型架构师,他们负责设计、开发和管理复杂、自主的智能体系统,这些系统能够独立推理、规划、执行操作并适应变化,以实现高层次的业务目标

借助 Akamai Inference Cloud,我们不会将用户锁定在特定的范式或解决方案中,而是为客户提供了充分的灵活性,让他们能够根据自己的偏好来选择租用基础架构、在无服务器平台上进行开发或是无缝组合复杂系统。

将 NVIDIA 的 AI 技术栈部署在更靠近制定决策的位置

我们于 2025 年 10 月 28 日宣布推出 Akamai Inference Cloud,旨在将智能化的智能体 AI 推理引入边缘,以满足个性化体验、实时决策和智能体的需求。

客户现在可以使用最新一代的 NVIDIA Blackwell GPU,并搭配 NVIDIA BlueField 网络;跨 GDDR7、DRAM 和 NVMe 的分层内存;高性能、可扩展的块和对象存储;托管式向量数据库;以及虚拟私有云网络。

MLOps 工程师既可以按小时租用单个 GPU,也可以构建一个高性能推理集群,该集群最多可配备 8 个 NVIDIA RTX PRO™ 6000 Blackwell Server Edition GPU、NVIDIA BlueField-3Ⓡ DPU、128 个 vCPU、1,472 GB DRAM 以及 8,192 GB NVMe(图 1)。

NVIDIA Blackwell GPU 可提供出色的性能。Akamai Inference Cloud 针对首 token 延迟 (TTFT) 和每秒 token 数 (TPS) 进行了优化。与 Akamai 分布式边缘基础架构相结合时,Akamai Inference Cloud 可以降低实时和交互式智能应用程序的延迟。

正如我们即将发布的基准测试分析中所述,NVIDIA Blackwell GPU 可提供出色的性能。

通过 App Platform 部署和监控智能体应用程序

为了进一步帮助平台工程师,我们所提供的并不局限于基础架构。平台工程师可以借助我们预先构建的云原生平台来轻松部署并监控智能体应用程序,该平台能够简化大语言模型 (LLM)、智能体和知识库的大规模部署。

该平台具备高度可自定义性,但也提供最佳实践指引——它可以加快部署速度、降低运营开销,并将预先集成的 AI 就绪型组件(如向量数据库、LLM 框架和 OpenAI 兼容 API)整合到单一的自助服务门户中。App Platform 经过优化,可在 Akamai 的托管式 Kubernetes 引擎 LKE 上运行,并且可移植到任何符合标准的 Kubernetes 集群

App Platform for LKE 集成了 30 多款值得信赖的云原生计算基金会 (CNCF) 开源工具,包括 KServe(用于在生产环境中提供和扩展机器学习模型的 Kubernetes 原生框架)和 Kubeflow Pipelines(用于在 Kubernetes 上构建、部署和管理 ML 工作流的平台)。

App Platform 可提供工程师构建他们自己的 AI 平台所需的 Kubernetes 框架和 AI 组件。在构建和维护您自己的基于 Kubernetes 的平台或定制堆栈时,这有助于避免采用需要大量集成工作的 DIY 方法(图 2)。

Akamai Inference Cloud——专为 NVIDIA AI Enterprise 集成而设计

NVIDIA AI Enterprise 是一个软件平台,旨在简化您从 AI 开发到生产的整个过程。该云原生套件可加速并简化您构建、部署和扩展 AI 应用程序的方式。它使用 NVIDIA 推理微服务 (NIM) 和神经模块 (NeMo) 微服务等强大工具,可帮助您降低基础架构成本并显著加快产品上市速度(图 3)。

Akamai Inference Cloud 会随着原生功能的丰富而不断发展,以全面支持整个 NVIDIA AI Enterprise 软件套件。该平台为各种规模的企业提供了可靠、安全且可扩展的基础,使其能够在云端、数据中心或边缘等任何位置部署先进的 AI 系统,而这一切都有广泛的合作伙伴生态系统作为后盾。

了解详情

Akamai Inference Cloud 正在快速发展演进,并计划于 2026 年推出更多新产品。请关注 Akamai 博客或访问我们的网站,了解有关 Akamai Inference Cloud 的更多信息。

Jon Alexandar

Oct 28, 2025

Jon Alexander

Jon Alexandar

寫於

Jon Alexander

Jon Alexander は、Product Management 担当 VP であり、CDN やオリジンサービス製品などの Akamai Edge Delivery ポートフォリオを担当しています。

标签

分享

相关博文

Akamai Inference Cloud 赋能 AI 无处不在
October 28, 2025
全新推出 Akamai Inference Cloud,这是我们携手 NVIDIA 打造的专用平台,旨在重新定义 AI 的部署边界与应用模式。
企业如何在平衡 AI 创新与风险中前行
September 15, 2025
Akamai 携手 Forrester 发布了一份重磅新报告,深度剖析了企业如何在确保可控风险的前提下,将 AI 创新推向新的高度。
400 位高管揭示 AI 应用的未来
September 25, 2025
Forrester 研究揭示,大多数企业已洞察先机,利用 AI 在竞争中脱颖而出、实现个性化体验并高效锁定客户。