AI: 해답은 엣지에 있다

• Akamai Inference Cloud는 기업이 엣지에서 AI 기반 애플리케이션을 구축, 보호, 최적화할 수 있도록 지원하는 풀스택 클라우드 플랫폼입니다.

• 이 플랫폼은 사용자에게 적응하고, 다른 에이전트와 통신하고, 실시간으로 행동하는 에이전틱 시스템을 지원하도록 설계되었습니다.

• 주요 기능으로는 NVIDIA Blackwell GPU, 매니지드 쿠버네티스, 벡터 데이터베이스, AI 인식 보안 등이 있습니다.

• 이 플랫폼은 머신 러닝 운영 엔지니어, AI 엔지니어, 에이전틱 시스템 아키텍트를 위한 기반을 제공합니다.

• Akamai Inference Cloud는 어디서나 최신 AI 시스템을 안정적이고 안전하게, 그리고 확장 가능한 형태로 배포할 수 있는 토대를 마련한 것입니다.

2017년, 한 리서치 논문이 기술의 흐름을 조용히 바꾸어 놓았습니다. Attention Is All You Need는 새로운 종류의 언어 및 데이터 처리 모델인 트랜스포머 아키텍처를 소개했습니다. 이 모델은 이후 거의 모든 인공지능(AI)의 주요 발전에 근간이 되었습니다. 당시 이 혁신은 학계와 개발자 커뮤니티에 주로 머물러 있었습니다.

5년 후인 2022년 11월, OpenAI가 ChatGPT를 출시하면서 처음으로 더 광범위한 대중이 이 아키텍처로 인해 가능해진 것을 기반으로 구축된 시스템과 직접 상호 작용할 수 있게 된 것이었습니다. 이는 단순히 ‘머신과의 대화’가 아니라, 지식 그 자체와 상호작용하는 새로운 방식의 서막이었습니다. 

ChatGPT가 출시된 지 불과 3년이 지난 현재, OpenAI는 주간 7억 명 이상의 활성 사용자를 기록하고 있습니다. 

세계경제포럼은 다음과 같이 분석합니다. AI는 인력 시장에 이중적 변화를 일으키고 있습니다. 한편으로는 자동화로 인해 기존 역할에서 과잉 인력을 초래하고, 다른 한편으로는 AI 활용 역량에 대한 수요가 교육 및 채용 시스템이 따라잡을 수 없을 만큼 빠르게 증가하고 있습니다. 기존의 업무 모델과 업무 처리를 위해 인력을 준비시키기 위한 기존 모델은 빠르게 변화하고 있습니다.

이로써 시작 단계가 마무리되었습니다.

27년 전, 세계는 비슷한 변곡점에 서 있었습니다. 인터넷은 빠르게 확장되고 있었고 규모, 안정성, 보안에 대한 문제가 해결되지 않고 있는 상태였습니다. 이러한 맥락 속에서 MIT의 한 연구진은 'World Wide Wait'이라는 문제를 해결한다는 명확한 사명을 가지고 Akamai를 설립했습니다.

이들은 컴퓨팅, 스토리지, 네트워킹을 콘텐츠 생성과 소비 지점에 더 가깝게 배치하는 모델을 제시했고, 이 접근법은 이후 수많은 기업들이 따르게 되었습니다.

하지만 에이전틱 웹의 부상으로, AI만의 새로운 확장성 및 근접성 문제와 AI의 잠재력을 실현하는 데 필요한 추론이 재등장하며 다시금 원점으로 돌아오게 되었습니다. 

오늘 발표한 Akamai Inference Cloud는 코어 데이터 센터에서 엣지로 AI 추론을 확장하고 다시 한 번 병목 현상을 제거하며 중앙 집중식 인프라의 한계를 뛰어넘기 위해 거의 30년 전에 개척한 분산형 아키텍처 작업을 기반으로 구축되었습니다.

이 새로운 세대의 지능형 시스템은 더 이상 사람의 명령이나 인풋을 기다리지 않습니다. 이 시스템은 자연어로 의도를 표현하는 사용자를 관찰하고, 추론하고, 대신 행동합니다. 이 시스템은 단계별 지침 없이 주도적으로 행동하고, 다른 시스템과 조율하고, 결과를 제공합니다. 이것이 바로 에이전틱 웹입니다.

에이전틱 웹은 사람과 머신이 디지털 서비스와 상호 작용하는 방식을 변화시키고 있습니다. 경험은 점점 더 대화식으로 바뀌고 복합적인 특성을 띠며 개인 맞춤화되고 있습니다. 사용자의 의도가 인터페이스에 맞게 조정되는 것이 아니라 인터페이스가 사용자의 의도에 맞게 조정됩니다. 사람이 선호도, 맥락, 디바이스에 따라 추천을 요청하고 내레이션 요약, 시각적 비교 또는 서면 분석 자료로 추천 결과를 받을 수도 있습니다. 시스템은 가장 적합한 포맷과 톤을 선택합니다.

이러한 에이전트 기반 상호 작용이 보편화됨에 따라 기업은 이를 지원할 새로운 방법을 마련해야 합니다. 추론은 사용자와 더 가깝게 이동해야 합니다. 응답 시간은 예측 가능하고 짧아야 합니다. 툴과 메모리는 실시간으로 사용할 수 있어야 합니다. 전체 스택은 일회성 요청을 처리하는 것뿐만 아니라 사용자 및 시스템을 대신해 작업하는 에이전트를 지원해야 합니다.

이러한 전환은 이미 진행 중이지만 오늘날의 중앙 집중식 클라우드 플랫폼은 이를 지원할 수 있도록 설계되지 않았습니다. 기업은 원시 인프라와 좁은 범위의 솔루션 중에서 선택해야 하는 상황에 놓였습니다. 지금 필요한 것은 에이전틱 AI를 위해 특별히 설계된 플랫폼입니다. 복잡성을 줄이고, 개발을 가속하고, 글로벌한 규모로 지능적인 행동을 제공하는 플랫폼 말입니다.

Akamai Inference Cloud는 이러한 미래를 실현합니다. 이 솔루션은 사용자에게 적응하고, 다른 에이전트와 통신하고, 실시간으로 행동하는 에이전틱 시스템 및 애플리케이션의 요구사항을 중심으로 클라우드 및 AI에 접근합니다. 

이 솔루션의 독자적인 분산형 아키텍처는 이러한 패턴을 지원하도록 특별히 설계되어 복잡한 추론 워크로드에 필요한 고성능 컴퓨팅, 스토리지, 오케스트레이션을 제공하고 라우팅, 제어, 응답성을 사용자와 더 가까운 곳에서 적용합니다.  

고객들은 다음과 같은 4가지 중요한 임무에 직면해 있습니다.

1. AI 기반 애플리케이션 지원

2. AI를 새로운 트래픽 채널로 관리

3. AI 에이전트에 엔터프라이즈 워크로드를 위한 리소스 제공

4. 직원의 책임감 있는 AI 사용 지원

모든 기업이 자체 애플리케이션에 인텔리전스를 내장하게 될 것입니다. 이는 반응형 디자인부터 멀티클라우드, 그리고 이제 AI 통합 실시간 시스템에 이르기까지 애플리케이션 아키텍처의 다음 단계를 나타냅니다. Akamai는 각 진화 단계를 지원하고 보호하는 믿음직한 근간의 역할을 이어나갑니다.

사용자들은 한때 검색, 소셜 또는 모바일을 통해 그랬던 것처럼 AI 플랫폼을 통해 브랜드에 도달하고 있습니다. 모든 브랜드, 앱, API는 원하는 AI 상호 작용과 원치 않는 AI 상호 작용을 정의하고 그러한 트래픽을 지능적으로 관리해 AI 트래픽을 리스크에서 기회로 전환해야 합니다.

Akamai 고객은 AI 에이전트를 사용해 인프라 관리부터 데이터 분석까지 비즈니스의 여러 부분을 운영하고 있습니다. 에이전트가 내부 및 외부 시스템과 관련된 최고 수준의 리소스를 이용하되 신뢰, ID, 옵저버빌리티, 안전 등 적절한 보호 장치가 있어야 기업이 AI로 운영되는 환경을 자신 있게 효율적으로 확장할 수 있습니다.

모든 기업의 직원들은 Copilot, Cursor, ChatGPT, Claude 등 AI 서비스를 이용하고 있습니다. 기업은 이러한 이용에 대한 책임감, 비용, 데이터 보호를 관리해야 합니다.

Akamai Inference Cloud는 추론을 확장하는 방법입니다.

Akamai Inference Cloud는 AI로 지원되는 차세대 지능형 애플리케이션을 구축, 보호, 최적화하도록 설계된 풀스택 클라우드 플랫폼입니다. 이 플랫폼은 실시간 추론, 에이전틱 시스템, 사용자와 가까운 곳에 있는 인텔리전스의 고유한 요구사항에 부합하는 컴퓨팅, 스토리지, 네트워킹, 오케스트레이션, 보안, 개발자 툴을 제공합니다(표).

Akamai Inference Cloud는 AI로 지원되는 차세대 지능형 애플리케이션을 구축, 보호, 최적화하도록 설계된 풀스택 클라우드 플랫폼입니다.

Akamai Inference Cloud는 고객이 있는 곳에서 고객을 만나는 모듈식 플랫폼입니다. Akamai Inference Cloud는 OpenAI와 Gemini의 호스팅된 API 엔드포인트를 앱에서 사용하든, 아니면 미세 조정된 자체 선별 모델을 중심으로 에이전틱 워크플로우를 구축하든 엣지에서 구축, 보호, 최적화할 수 있도록 지원합니다. 

특히, Akamai는 다음과 같은 세 가지 특정 사용자를 지원하고 있습니다.

1. 머신 러닝 운영 엔지니어(MLOps): 머신 러닝 수명 주기의 전 과정을 자동화해 모델이 지속적으로 재학습되고 배포되며 프로덕션 환경에서의 성능을 모니터링하도록 보장하는 엔지니어

2. AI 엔지니어: 주로 사전 학습된 모델을 사용해 엔드 투 엔드 에이전틱 애플리케이션을 구축하고 데이터 과학 리서치와 프로덕션 소프트웨어 사이의 격차를 해소하는 데이터 과학자 또는 소프트웨어 엔지니어

3. 에이전틱 시스템 아키텍트: 독립적인 추론, 계획, 행동, 적응을 통해 높은 수준의 비즈니스 목표를 달성할 수 있는 복잡한 자율 에이전틱 시스템을 설계, 구축, 관리하는 기존 시스템 아키텍트의 발전된 형태

저희는 Akamai Inference Cloud를 통해 사용자를 특정 패러다임이나 솔루션에 종속시키는 것이 아니라 인프라를 대여하고, 서버리스 플랫폼에서 개발하고, 선호도에 따라 복잡한 시스템을 원활하게 결합할 수 있는 유연성을 고객에게 제공하고 있습니다. 

2025년 10월 28일, 저희는 Akamai Inference Cloud를 발표했습니다. 이와 함께 지능적인 에이전틱 AI 추론을 개인 맞춤형 경험, 실시간 의사 결정, 스마트 에이전트를 위해 그러한 추론이 필요한 엣지에 도입한다는 목표도 발표했습니다. 

이제 고객은 NVIDIA BlueField 네트워킹, GDDR7, DRAM, NVMe 전반에 걸쳐 계층화된 메모리, 고성능, 확장 가능한 블록 및 오브젝트 스토리지, 매니지드 벡터 데이터베이스, 가상 프라이빗 클라우드 네트워킹과 결합된 최신 세대의 NVIDIA Blackwell GPU를 이용할 수 있습니다.

MLOps 엔지니어는 1시간 단위로 단일 GPU를 대여하거나 최대 8개의 NVIDIA RTX PRO™ 6000 Blackwell Server Edition GPU, NVIDIA BlueField-3Ⓡ DPU, 128개의 vCPU, 1472GB의 DRAM, 8192GB의 NVMe로 고성능 추론 클러스터를 구축할 수 있습니다(그림 1).

플랫폼 엔지니어에게 추가적인 도움을 주기 위해 Akamai는 단순히 인프라만 제공하는 수준을 넘어섰습니다. 플랫폼 엔지니어는 대규모 언어 모델(LLM), 에이전트, 기술 자료를 간편하게 배포할 수 있는 Akamai의 사전 엔지니어링된 클라우드 네이티브 플랫폼을 통해 에이전틱 애플리케이션을 쉽게 배포하고 모니터링할 수 있습니다. 

이 플랫폼은 고도로 맞춤화되어 있지만 독자성이 높습니다. 배포를 가속하고 운영 부담을 줄이며 벡터 데이터베이스, LLM 프레임워크, OpenAI 호환 API와 같은 사전 통합된 AI 지원 구성요소를 단일 셀프서비스 포털에 포함합니다. App Platform은 Akamai의 매니지드 쿠버네티스 엔진인 LKE에서 실행되도록 최적화되어 있으며, 모든 규정 준수 쿠버네티스 클러스터로 이동할 수 있습니다.  

App Platform for LKE는 프로덕션에서 머신 러닝 모델을 제공하고 확장하기 위한 쿠버네티스 네이티브 프레임워크인 KServe와 쿠버네티스에서 ML 워크플로우를 구축, 배포, 관리하기 위한 플랫폼인 Kubeflow 파이프라인을 비롯한 30개 이상의 신뢰할 수 있는 CNCF(Cloud Native Computing Foundation) 오픈 소스 툴을 통합합니다. 

App Platform은 엔지니어가 자체 AI 플랫폼을 구축하는 데 필요한 쿠버네티스 프레임워크와 AI 구성요소를 모두 제공합니다. 이를 통해 자체 쿠버네티스 기반 플랫폼 또는 맞춤형 스택을 구축하고 유지 관리할 때 과도한 통합이 필요한 DIY 접근 방식을 피할 수 있습니다(그림 2).

NVIDIA AI Enterprise는 AI 개발부터 프로덕션까지의 여정을 간소화하도록 구축된 소프트웨어 플랫폼입니다. 이 클라우드 네이티브 제품군은 AI 애플리케이션의 구축, 배포, 확장을 가속하고 간소화합니다. NVIDIA 추론 마이크로서비스(NIM) 및 신경망 모듈(NeMo) 마이크로서비스와 같은 강력한 툴을 사용하면 인프라 비용을 절감하고 시장 출시 시간을 크게 단축할 수 있습니다(그림 3). 

Akamai Inference Cloud는 2026년까지 계획된 많은 신제품 출시와 함께 빠르게 진화하고 있습니다. Akamai 블로그 또는 Akamai 웹사이트에서 Akamai Inference Cloud에 대한 자세한 정보를 확인하시기 바랍니다.