The Telegraph 实现了对 AI 爬虫程序的管控

Telegraph Media Group (TMG) 以高品质新闻立身，通过向全球受众提供优质内容构建其商业版图。TMG 以订阅为核心的战略成效显著：2023 年订阅用户突破百万大关，远超预期目标。此后，AI 驱动的内容抓取技术迅猛发展，带来全新挑战。越来越多的 AI 抓取类爬虫程序在未经许可的情况下抓取 The Telegraph 的新闻报道。为此，The Telegraph 转向其值得信赖的合作伙伴 Akamai 寻求解决方案。通过 Akamai 的解决方案，The Telegraph 能够保护其内容免遭 AI 抓取类爬虫程序的抓取并保障其 API 的安全。

AI 抓取类爬虫程序不仅会采集内容来训练模型，还会为用户提供摘要，而这往往既不注明出处，也未给予任何报酬。TMG 技术总监 Ciro Rizzo 解释道：“人们看到 AI 提供的摘要后，就不会再点击访问我们的网站了。这不仅会导致我们失去流量、客户互动，也会给我们带来收入损失。”

一些输出内容甚至会曲解 The Telegraph 的新闻报道，给我们的品牌诚信造成损害。此外，抓取类爬虫程序流量会消耗成本高昂的基础架构容量，但不会产生任何收入。Rizzo 解释道：“当我们将内容授权给合作伙伴时，我们会获得报酬。但如果我们的内容在未经许可的情况下遭到抓取和使用，这就不符合我们的业务模式或战略了。”

The Telegraph 既要区别“良性”和“恶意”爬虫程序，拦截未经授权的爬虫程序，更要通过数据智能推动内容授权合作。基于与 Akamai 多年的成功合作，这个选择显得顺理成章。Rizzo 表示：“在确保内容极速分发与实现精细化爬虫程序管理的双重挑战面前，目前没有其他服务商能像 Akamai 这样提供全面解决方案。”

为了直接解决 AI 抓取问题，The Telegraph 对 Content Protector 进行了概念验证 (PoC)。初步结果便发人深省：Rizzo 表示，“第一阶段让我们大开眼界，我们终于明白了 AI 抓取类爬虫程序生态系统的规模以及这项挑战的真实难度。”

概念验证初见成效，成功拦截了大量的攻击性爬虫程序，其中许多都来自一些鲜为人知的 AI 公司。这些情报信息不仅能为将来与授权爬虫程序的合作洽谈提供支持，还有望开辟新的收入来源，并减少对品牌和成本的负面影响。

The Telegraph 的移动优先战略的核心是一个由数百个 API 提供支持的应用程序生态系统，这些 API 连接着其内容关联系统 (CMS)、支付平台和订阅者注册服务。

通过采用 Akamai App & API Protector 来保护其关键域名，The Telegraph 现在实现了对数百个 API 的统一治理、监测和控制，这对于高价值的注册和支付服务尤为重要。

《每日电讯报》的内容库汇集了多年来每日发布的内容（每天多达数百篇文章），而支撑这一切的是一个为 SEO 和受众互动而构建的庞大重定向网络。以前，管理重定向既耗时又依赖于内部服务器。

通过采用 EdgeWorkers，The Telegraph 彻底改变了此管理过程。以前需要花费 15 分钟才能完成的工作现在只需要几秒钟即可完成。Rizzo 表示：“当我们需要为文章引流时，EdgeWorkers 会立即在所有位置启动重定向，并且每次都准确可靠。”

了解流量模式是提高运营效率和制定战略规划的关键。然而，在过去，The Telegraph 却很难汇总并关联分析其所有日志。他解释道：“这给问题的调试带来了挑战，尤其是在我们的 CMS 和网站方面。”

TrafficPeak 能够对日志进行集中化管理和关联分析。对于 The Telegraph 负责网站稳定性的工程团队来说，这是一项变革性工具。Rizzo 表示：“TrafficPeak 让我们能够洞察全局，将故障排除时间从几小时缩短到了几分钟。”

此外，Rizzo 对 TrafficPeak 能够长期存储和管理大量数据集的能力赞赏有加。他继续说道：“能够访问这些数据，意味着我们可以发现那些原本可能会错过关联性和模式。”

Rizzo 认为，在 The Telegraph 应用的未来发展中，Akamai 将发挥重要的作用。他总结道：“无论是保护我们的新闻事业还是促进公司的业务增长，Akamai 始终能够可靠地提供我们所需的卓越专业知识、支持和解决方案。”

Telegraph Media Group (TMG) 是 The Daily Telegraph、The Sunday Telegraph、The Telegraph Magazine、Telegraph.co.uk 以及 Telegraph 应用的出版方。TMG 采用订阅者优先的业务模式，以优质新闻报道为核心价值，致力于和广大订阅者建立更深厚的联系。