Telegraph, AI 스크레이퍼 통제

TMG(Telegraph Media Group)는 전 세계 독자에게 전달되는 고품질 저널리즘을 기반으로 사업을 구축했습니다. TMG는 구독 우선 모델을 통해 2023년에 100만 구독자라는 야심 찬 목표를 초과 달성했습니다. 그 이후로 AI 기반 콘텐츠 스크레이핑의 증가로 새로운 도전 과제가 생겼습니다. 점점 더 많은 AI 봇이 허가 없이 The Telegraph의 저널리즘 콘텐츠를 수집하고 있습니다. The Telegraph는 신뢰할 수 있는 파트너인 Akamai에 솔루션을 요청했습니다. The Telegraph는 Akamai를 통해 AI 봇으로부터 콘텐츠를 보호하고 API를 안전하게 보호할 수 있게 되었습니다.

AI 봇은 모델 훈련을 위해 콘텐츠를 수집할 뿐만 아니라, 출처 표기나 보상 없이 요약본을 사용자에게 제공합니다. TMG 기술 총괄 이사 시로 리조(Ciro Rizzo)는 “사람들은 AI가 제공하는 요약본을 보고 우리 사이트로 이동하지 않습니다.”라며 “이는 트래픽 손실, 참여도 감소, 매출 손실을 의미합니다.”라고 설명했습니다. 

일부 결과물은 Telegraph의 저널리즘을 왜곡해 브랜드 신뢰도를 훼손하기도 합니다. 게다가 스크레이퍼 트래픽은 수익을 창출하지 못하면서 비용이 많이 드는 인프라 용량을 소모합니다. 리조는 “파트너사에 콘텐츠를 라이선싱하면 보상을 받습니다.”라며 “하지만 무단으로 스크레이핑되어 사용될 때는 그렇지 않습니다. 이는 우리의 비즈니스 모델이나 전략과 부합하지 않습니다.”라고 설명했습니다.

Telegraph는 “좋은” 봇과 “나쁜” 봇을 구분하고, 무단 크롤러를 차단하고, 접속을 원하는 업체들과 라이선스 계약을 추진하기 위한 정보를 수집해야 했습니다. 수년간 Akamai와 협력해온 경험 덕분에 선택은 간단했습니다. 리조는 “빠른 콘텐츠 전달 보장부터 정교한 봇 관리 지원에 이르기까지 우리가 직면한 다양한 과제를 해결할 수 있는 업체는 Akamai가 유일합니다.”라고 말했습니다.

Telegraph는 AI 스크레이핑 문제를 직접 해결하기 위해 Content Protector를 통해 PoC(Proof of Concept)를 진행 중입니다. 초기 결과는 놀라웠습니다. 리조는 “첫 단계에서 눈이 번쩍 뜨이는 경험을 했습니다. 마침내 AI 크롤러 생태계의 크기와 문제의 진정한 규모를 이해하게 됐습니다.”고 전했습니다.

PoC는 이미 다수의 공격적인 봇을 차단하는 성과를 거두었으며, 이들 중 상당수는 알려지지 않은 AI 기업에서 유입되었습니다. 이러한 인텔리전스는 향후 공인 크롤러와의 협상 기반이 되어 브랜드 및 비용 영향은 줄이면서 새로운 매출을 창출할 수 있을 것입니다.

Telegraph의 모바일 우선 전략 핵심에는 CMS(Content Management System), 결제 플랫폼, 구독자 등록 서비스를 연결하는 수백 개의 API로 구동되는 앱 생태계가 자리 잡고 있습니다.

Telegraph는 중요 도메인을 Akamai App & API Protector 뒤로 옮김으로써 이제 수백 개의 API 전반에 걸쳐 일관된 거버넌스, 가시성, 제어력을 확보했으며, 이는 특히 고가치 등록 및 결제 서비스에 중요합니다.

Telegraph의 콘텐츠 라이브러리는 수년간의 일일 발행물(하루 수백 건의 기사)을 아우르며, SEO 및 독자 참여를 위한 방대한 리다이렉트 네트워크가 지원합니다. 이전에는 리디렉션 관리에 시간이 많이 소요되고 내부 서버에 의존해야 했습니다.

The Telegraph는 이 프로세스를 EdgeWorkers로 이전해 혁신했습니다. 예전에는 최대 15분이 걸리던 작업이 이제 몇 초 만에 완료됩니다. 리조는 “한 기사에서 다른 기사로 트래픽을 유도하고자 할 때, EdgeWorkers는 모든 위치에서 즉시 리디렉션을 실행합니다. 매번 안정적으로 말이죠.” 말했습니다.

트래픽 패턴을 이해하는 것은 운영 효율성과 전략적 계획 수립의 핵심입니다. 그러나 과거 Telegraph는 모든 로그를 통합하고 상호 연관성을 파악하기 어려웠습니다. 리조는 “이 때문에 특히 CMS와 웹사이트의 문제 해결이 복잡했습니다.”라고 설명했습니다.

TrafficPeak는 로그를 중앙 집중화하고 상호 연관성을 분석합니다. 이는 Telegraph의 사이트 안정성 엔지니어링팀에게 혁신적인 변화입니다. 리조는 “TrafficPeak는 전체적인 그림을 보여주기 때문에 문제 해결 시간을 몇 시간에서 몇 분으로 단축할 수 있습니다.”라고 말했습니다.

또한 리조는 TrafficPeak이 대규모 데이터 세트를 장기간 저장하고 관리하는 점을 높이 평가합니다. 그는 “해당 데이터에 접속할 수 있기 때문에 우리가 놓칠 수 있는 상관관계와 패턴을 확인할 수 있습니다.”라고 덧붙였습니다.

리조는 Akamai가 Telegraph 앱의 미래 진화에서 중요한 역할을 할 것이라고 전망합니다. 그는 “Akamai는 저널리즘을 보호하고 비즈니스를 성장시키는 데 필요한 업계 최고의 전문성, 지원, 솔루션을 안정적으로 제공합니다.”라고 결론지었습니다.

TMG(Telegraph Media Group)는 The Daily Telegraph and The Sunday Telegraph, The Telegraph Magazine, Telegraph.co.uk, Telegraph 앱의 발행사입니다. TMG는 구독자 중심의 비즈니스로, 양질의 저널리즘을 핵심 가치로 삼고 있으며 대규모로 구독자와의 유대감을 강화하는 것을 목표로 합니다.