Der Telegraph hat die Kontrolle über KI-Scraper übernommen

Die Telegraph Media Group (TMG) baut ihr Geschäft auf qualitativ hochwertigem Journalismus auf, der einem globalen Publikum zugänglich gemacht wird. Mit einem Modell, bei dem Abonnenten besondere Vorzüge genießen, gelang es der TMG im Jahr 2023, das ambitionierte Ziel von einer Million Abonnements zu erreichen. Seither sind durch die Zunahme von KI-basiertem Content Scraping zahlreiche neue Herausforderungen entstanden. Immer mehr KI-Bots nutzen den Journalismus des Telegraph ohne Erlaubnis. Der Telegraph wandte sich an seinen vertrauenswürdigen Partner Akamai, um eine Lösung bereitzustellen. Gemeinsam mit Akamai kann die Telegraph Group ihre Inhalte vor KI-Bots schützen und ihre APIs sichern.

KI-Bots erfassen nicht nur Inhalte, um Modelle zu trainieren, sondern auch um Zusammenfassungen für ihre Nutzer zu liefern – oft ohne Zuordnung oder Kompensation. „Die Menschen sehen eine Zusammenfassung, die durch KI bereitgestellt wird, und klicken nicht auf unsere Website“, erklärt Ciro Rizzo, Director of Technology bei TMG. „Dadurch entgehen uns Traffic, Interaktionen und Umsätze.“ 

Es kommt sogar vor, dass der KI-Output die journalistische Arbeit des Telegraph falsch darstellt – und dadurch die Integrität der Marke gefährdet. Darüber hinaus nimmt der durch Scraper verursachte Traffic kostenintensive Infrastrukturkapazitäten in Anspruch, ohne Einnahmen zu generieren. „Wenn unsere Inhalte an Partner lizenziert werden, erhalten wir eine Vergütung“, erklärt Rizzo. „Aber wenn sie ohne Genehmigung von Scrapern erfasst und verwendet werden, passt das nicht zu unserem Geschäftsmodell oder unserer Strategie.“

Der Telegraph benötigte einen Weg, um zwischen „guten“ und „schlechten“ Bots zu unterscheiden, nicht autorisierte Crawler zu blockieren und die nötigen Informationen zu erfassen, um mit interessierten Parteien Lizenzvereinbarungen zu schließen. Nach jahrelanger Zusammenarbeit mit Akamai war die Wahl einfach. „Kein anderer Anbieter deckt die zahlreichen Herausforderungen, vor denen wir stehen, so gut ab – von der Gewährleistung einer schnellen Inhaltsbereitstellung bis hin zum ausgefeilten Bot-Management“, sagt Rizzo.

Um das Problem des KI-Scrapings direkt anzugehen, führt der Telegraph derzeit einen Proof of Concept (PoC) mit Content Protector durch. Die ersten Ergebnisse zeigen, wie sinnvoll die Maßnahme ist: „Die erste Phase war ein Augenöffner. Wir haben dadurch den wahren Umfang des KI-Crawler-Ökosystems erfasst und verstanden, wie groß die Herausforderung ist“, so Rizzo.

Im Rahmen des PoC wurde bereits eine große Zahl aggressiver Bots blockiert, von denen viele von obskuren KI-Unternehmen stammen. Diese Informationen können bei zukünftigen Verhandlungen mit autorisierten Crawlern nützlich sein und möglicherweise helfen, neue Einnahmequellen zu schaffen und zugleich negative Auswirkungen auf die Marke und die Kosten zu reduzieren.

Im Mittelpunkt der Strategie der Telegraph Group, die sich auf Mobilgeräte konzentriert, steht das App-Ökosystem, das auf Hunderten von APIs basiert, welche das CMS (Content Management System), die Zahlungsplattform und die Registrierungsdienste für Abonnenten verbinden.

Die Absicherung wichtiger Domains mit dem Akamai App & API Protector ermöglicht der Telegraph Group nun konsistente Governance, Transparenz und Kontrolle über Hunderte von APIs, die für wichtige Registrierungs- und Zahlungsdienste von besonders hoher Bedeutung sind.

Die Inhaltsbibliothek des Telegraph umfasst die gesammelten Veröffentlichungen vieler Jahre – mit mehreren Hundert Artikeln pro Tag – und wird unterstützt durch ein enormes Netzwerk von Weiterleitungen für SEO-Optimierung und Kundenbindung. Bisher war die Verwaltung von Umleitungen zeitaufwändig und abhängig von internen Servern.

Durch den Wechsel zu EdgeWorkers hat der Telegraph den Prozess verändert. Was früher bis zu 15 Minuten gedauert hat, geschieht jetzt in Sekunden. „Wenn wir den Traffic von einem Artikel zum anderen steigern möchten, kann EdgeWorkers sofort standortunabhängige Weiterleitungen einrichten – absolut zuverlässig“, erklärt Rizzo.

Das Verständnis der Trafficmuster ist der Schlüssel zur betrieblichen Effizienz und strategischen Planung. In der Vergangenheit war es für den Telegraph jedoch schwierig, alle seine Protokolle zu aggregieren und zu korrelieren. „Dadurch war es schwierig, Probleme zu beheben, insbesondere für unser CMS und unsere Website“, erklärt er.

TrafficPeak dient dazu, Protokolle zentral abzulegen und zu korrelieren. Für das Technikteam des Telegraph ist das eine entscheidende Neuerung. „TrafficPeak zeigt uns das Gesamtbild und verkürzt so die Zeit für die Fehlersuche von Stunden auf wenige Minuten“, so Rizzo.

Darüber hinaus weiß Rizzo zu schätzen, dass TrafficPeak große Datensätze über längere Zeiträume speichert und verwaltet. „Durch den Zugriff auf diese Daten können wir Korrelationen und Muster erkennen, die wir sonst vielleicht übersehen würden“, fährt er fort.

Rizzo ist davon überzeugt, dass Akamai bei der zukünftigen Entwicklung der Telegraph-App eine Rolle spielt. „Akamai bietet zuverlässig das branchenführende Know-how, den Support und die Lösungen, die wir benötigen, um unseren Journalismus zu schützen und unser Geschäft auszubauen“, schloss er.

Telegraph Media Group (TMG) ist der Herausgeber des Daily Telegraph und des Sunday Telegraph, des Telegraph Magazine, Telegraph.co.uk und der Telegraph-App. TMG versteht sich als kundenorientiertes Unternehmen, das für hochwertigen Journalismus steht und sich das Ziel gesetzt hat, skalierbar engere Verbindungen zu unseren Abonnenten aufzubauen.