Telegraph が AI スクレイパーを制御

Telegraph Media Group（TMG）は、世界中のユーザーに高品質のジャーナリズムを配信することを基盤に事業を展開しています。サブスクリプションを優先するビジネスモデルを採用したことで、TMG は 2023 年に 100 万人の加入者を獲得するという野心的な目標を達成しました。それ以来、AI 主導のコンテンツ・スクレイピングが増加し、新たな課題が生じていました。AI ボットは次第に、許可を得ずに Telegraph の報道を収集するようになりました。同社は、信頼を寄せるパートナーである Akamai のソリューションを採用することにしました。Akamai を通じて、Telegraph は AI ボットからコンテンツを保護し、API のセキュリティを確保できています。

AI ボットはコンテンツを収集してモデルをトレーニングするだけでなく、ユーザーに要約を提供します。多くの場合、その際に情報元を表示することも対価を支払うこともありません。「人々は AI が提供する要約を見ても、弊社のサイトへクリックスルーしません」と TMG のテクノロジー担当 Director である Ciro Rizzo 氏は説明します。「トラフィックも、エンゲージメントも、収益も失うのです」。 

しかも、一部のアウトプットは Telegraph の報道を不正確に伝え、ブランドの完全性まで危険にさらしています。加えて、スクレイパートラフィックは、収益を生み出すことなく、高コストのインフラキャパシティを消費します。「当社のコンテンツがパートナーにライセンス供与される場合は、ロイヤリティが支払われます」と Rizzo 氏は説明します。「しかし、スクレイピングされて許可なく使用される場合は違います。当社のビジネスモデルや戦略とは相反するものです」。

同社は「良性」ボットと「悪性」ボットを区別し、不正なクローラーをブロックし、アクセスを希望するユーザーとライセンス契約を結ぶためのインテリジェンスを収集する必要がありました。Akamai と長年連携してきたため、選択は簡単でした。「他のプロバイダーでは、迅速なコンテンツ配信の実現から高度なボット管理の実現など、当社が直面するさまざまな課題に対処できません」と同氏は述べています。

Telegraph は、AI スクレイピングの問題に直接対処するため、Content Protector の概念実証（PoC）を行っています。初期の結果から明らかになったことについて、Rizzo 氏は「第 1 段階では目を見張る結果が得られました。そのとき当社は、AI クローラーエコシステムの規模と、この問題の本当の大きさをようやく理解したのです」と述べています。

PoC はすでに、大量の悪質なボットをブロックしています。その多くは、無名の AI 企業のボットです。このインテリジェンスは、許可されたクローラーとの将来的な交渉をサポートし、ブランドとコストへの影響を軽減しながら新たな収益源を生み出す可能性があります。

Telegraph のモバイルファースト戦略の中心となるのは、コンテンツ管理システム（CMS）、決済プラットフォーム、サブスクリプション加入者登録サービスを接続する数百もの API を活用したアプリエコシステムです。

同社は重要なドメインを Akamai App & API Protector の背後に移動することで、何百もの API 全体で一貫したガバナンス、可視性、および制御を実現しました。これは、価値の高い登録サービスや決済サービスにおいて特に重要なことです。

Telegraph のコンテンツライブラリは、1 日あたり数百件もの記事の発行を何年にもわたって行っており、SEO とオーディエンスエンゲージメントのための大規模なリダイレクトネットワークによってサポートされています。これまでは、リダイレクトの管理は時間がかかるものであり、社内サーバーに依存していました。

EdgeWorkers に移行することで、Telegraph はこのプロセスを変革しました。かつて 15 分かかっていたことが、今や数秒で完了するようになりました。「ある記事から別の記事へのトラフィックを促したい場合、EdgeWorkers はすべての場所で、毎回確実に、リダイレクトを瞬時にスピンアップしてくれます」と Rizzo 氏は述べています。

トラフィックパターンを理解することは、運用効率と戦略的計画の鍵となります。しかし、以前は、Telegraph がすべてのログを集約して関連付けることは困難でした。「そのため、特に CMS や Web サイトの問題をデバッグすることが難しかったのです」と同氏は説明します。

TrafficPeak はログを集約し、関連付けます。Telegraph のサイト信頼性エンジニアリングチームにとって、これは画期的なものでした。「TrafficPeak によって全体像が示され、トラブルシューティングが数時間から数分に短縮されました」と Rizzo 氏は言います。

さらに Rizzo 氏は、TrafficPeak が大規模なデータセットを長期間保存して管理することを高く評価しています。「そのようなデータにアクセスすることで、他では得られなかった相関関係やパターンを確認できます」と同氏は続けます。

Rizzo 氏は、Akamai が Telegraph のアプリケーションの未来の進化の役割を担っていると考えています。「Akamai は、当社がジャーナリズムを保護し、ビジネスを成長させるために必要としている、業界有数の専門知識、サポート、そしてソリューションを確実に提供しています」と同氏は締めくくりました。

Telegraph Media Group（TMG）は、The Daily Telegraph と The Sunday Telegraph、The Telegraph Magazine、Telegraph.co.uk、および Telegraph アプリのパブリッシャーです。TMG は、質の高いジャーナリズムを根幹としたサブスクリプション加入者第一のビジネスであり、サブスクリプション加入者とのより深いつながりを大規模に築くことを目標としています。