Il Telegraph ha assunto il controllo degli scraper basati sull'intelligenza artificiale

Il Telegraph Media Group (TMG) ha basato le proprie attività aziendali su un giornalismo di alta qualità rivolto ad un pubblico globale. Con un modello fornito su abbonamento, il TMG ha superato l'ambizioso obiettivo di 1 milione di abbonamenti nel 2023. Da allora, l'ascesa dello scraping di contenuti basato sull'intelligenza artificiale ha creato nuove sfide. Sempre più spesso, i bot basati sull'intelligenza artificiale hanno raccolto le notizie del Telegraph senza disporre di un'autorizzazione. Il Telegraph si è rivolto al suo stimato partner Akamai per trovare una soluzione. Tramite Akamai, il Telegraph è in grado di proteggere i propri contenuti dai bot basati sull'AI e di proteggere le proprie API.

I bot basati sull'intelligenza artificiale non solo raccolgono i contenuti per addestrare i propri modelli, ma distribuiscono anche riepiloghi delle notizie agli utenti, spesso senza disporre di un'autorizzazione né di un compenso. "Le persone quando vedono un riepilogo distribuito dall'intelligenza artificiale non fanno clic sul nostro sito", ha spiegato Ciro Rizzo, direttore del reparto tecnologie del TMG. "In tal modo, perdiamo contenuti, engagement degli utenti e profitti". 

Alcuni risultati non rappresentano neanche le notizie distribuite dal Telegraph, il che rischia di compromettere l'integrità del brand. Inoltre, il traffico degli scraper consuma costose capacità infrastrutturali senza generare alcun reddito. "Quando i nostri contenuti sono concessi in licenza ai partner, riceviamo un compenso", ha spiegato Rizzo. "Ma quando i nostri contenuti vengono esfiltrati e utilizzati senza autorizzazione, per noi è un danno perché ciò non rientra nel nostro modello o nella nostra strategia aziendale".

Il Telegraph aveva la necessità di distinguere tra bot legittimi e bot dannosi, bloccare i crawler non autorizzati e raccogliere informazioni per stipulare accordi di licenza con coloro che richiedevano l'accesso ai contenuti aziendali. Collaborando da anni con Akamai, la scelta è stata semplice. "Nessun altro provider è in grado di risolvere le varie sfide che ci troviamo ad affrontare, dalla distribuzione rapida dei contenuti all'attivazione di una gestione sofisticata dei bot", ha affermato Rizzo.

Per risolvere direttamente il problema dello scraping basato sull'intelligenza artificiale, il Telegraph sta eseguendo una PoC (Proof-of-Concept) con Content Protector. I primi risultati sono stati resi noti: "La prima fase è stata una rivelazione: finalmente abbiamo compreso le dimensioni dell'ecosistema dei crawler basati sull'intelligenza artificiale e la vera portata della sfida", ha affermato Rizzo.

La PoC ha già portato a bloccare un gran numero di bot aggressivi, molti dei quali provenienti da oscure aziende digitali. Questa intelligence potrebbe supportare le future interazioni con i crawler autorizzati, creando potenzialmente nuovi flussi di ricavi e riducendo, al contempo, l'impatto sul brand e sui costi.

Il cuore della strategia mobile-first del Telegraph è il suo ecosistema di app, basato su centinaia di API che collegano il sistema di gestione dei contenuti (CMS), la piattaforma di pagamento e i servizi di registrazione degli abbonati di cui l'azienda dispone.

Spostando i domini critici dietro Akamai App & API Protector, il Telegraph ora offre governance, visibilità e controllo coerenti su centinaia di API, che sono particolarmente importanti per i servizi di registrazione e pagamento più importanti.

La libreria di contenuti del Telegraph è costituita da vari anni di pubblicazioni quotidiane (centinaia di articoli al giorno) ed è supportata da una vasta rete di reindirizzamenti basati sulla SEO e sull'engagement degli utenti. In precedenza, la gestione dei reindirizzamenti era dispendiosa in termini di tempo e dipendeva dai server interni.

Passando alla soluzione EdgeWorkers, il Telegraph ha trasformato questo processo. Ciò che una volta richiedeva fino a 15 minuti ora avviene in pochi secondi. "Se vogliamo indirizzare il traffico da un articolo all'altro, EdgeWorkers avvia immediatamente i reindirizzamenti ovunque desideriamo, in qualsiasi momento e in modo affidabile", ha affermato Rizzo.

Comprendere i modelli di traffico è fondamentale per l'efficienza operativa e la pianificazione strategica. Tuttavia, in passato, era difficile per il Telegraph aggregare e correlare tutti i suoi registri. "Ciò ha reso difficile risolvere i problemi riscontrati, soprattutto per i nostri CMS e il nostro sito web", ha spiegato.

TrafficPeak consente di centralizzare e correlare tutti i registri. Per il team SRE (Site Reliability Engineering) del Telegraph, è stata una svolta rivoluzionaria. "TrafficPeak ci consente di avere il quadro completo della situazione, accelerando la risoluzione dei nostri problemi da ore in pochi minuti", ha affermato Rizzo.

Inoltre, Rizzo apprezza il fatto che TrafficPeak riesca a memorizzare e gestire grandi quantità di dati per periodi prolungati. "L'accesso a tali dati ci consente di vedere correlazioni e modelli che altrimenti rischieremmo di perdere", ha continuato.

Rizzo ritiene che Akamai svolga un ruolo fondamentale nella futura evoluzione dell'app del Telegraph. "Akamai offre in modo affidabile le competenze, il supporto e le soluzioni leader del settore di cui abbiamo bisogno per proteggere il nostro modo di fare giornalismo e di espandere le nostre attività aziendali", ha concluso.

Il Telegraph Media Group (TMG) si occupa della pubblicazione del Daily Telegraph, del Sunday Telegraph e del Telegraph Magazine, del sito Telegraph.co.uk e dell'app Telegraph. Il TMG è un'azienda incentrata su servizi forniti su abbonamento, che distribuisce notizie di qualità nell'intento di creare relazioni più profonde con i suoi abbonati su vasta scala.