The Telegraph toma el control de los scrapers de IA

Telegraph Media Group (TMG) ha desarrollado su negocio sobre la base de un periodismo de alta calidad ofrecido a un público global. Con un modelo que da prioridad a las suscripciones, TMG superó su ambicioso objetivo de alcanzar 1 millón de suscripciones en 2023. Desde entonces, la aparición del scraping de contenido basado en IA ha creado nuevos desafíos. Cada vez más, los bots de IA han estado aprovechándose del periodismo de calidad de The Telegraph sin permiso. The Telegraph recurrió a su partner de confianza, Akamai, para que le proporcionara una solución. A través de Akamai, The Telegraph puede proteger su contenido frente a los bots de IA y sus API.

Los bots de IA no solo recopilan contenido para entrenar modelos, sino que también ofrecen resúmenes a los usuarios, a menudo sin atribución ni compensación. "La gente ve un resumen servido por la IA y no hace clics a nuestro sitio", explica Ciro Rizzo, director de tecnología de TMG. "Esto significa tráfico perdido, interacciones perdidas y pérdida de ingresos". 

Algunos resultados incluso tergiversan el periodismo de The Telegraph, poniendo en riesgo la integridad de la marca. Además, el tráfico de los scrapers consume una costosa capacidad de su infraestructura sin que esto les reporte ingresos. "Cuando licenciamos nuestro contenido a nuestros socios, recibimos una compensación", explica Rizzo. "Pero no cuando se extrae mediante scraping y se utiliza sin permiso. No está en línea con nuestro modelo o estrategia de negocio".

The Telegraph necesitaba distinguir entre bots "buenos" y "malos", bloquear los rastreadores no autorizados y recopilar inteligencia para perseguir acuerdos de licencia con quienes deseen tener acceso. Tras haber trabajado con Akamai durante años, la elección fue sencilla. "Ningún otro proveedor puede abordar la gama de desafíos a los que nos enfrentamos, desde garantizar una rápida distribución de contenido hasta permitir una gestión sofisticada de los bots", afirma Rizzo.

Para abordar directamente el problema del scraping mediante IA, The Telegraph está ejecutando una prueba de concepto (PoC) con Content Protector. Los primeros resultados han sido reveladores: "La primera etapa nos ha abierto los ojos: finalmente hemos entendido el tamaño del ecosistema de rastreadores de IA y la verdadera escala del desafío”, añade Rizzo.

La PoC ya ha provocado el bloqueo de un gran número de bots agresivos, muchos de ellos de empresas de IA poco conocidas. Esta inteligencia podría respaldar futuras negociaciones con rastreadores autorizados, lo que podría crear nuevas fuentes de ingresos y reducir el impacto en la marca y los costes.

En el centro de la estrategia de The Telegraph orientada a los dispositivos móviles, se encuentra su ecosistema de aplicaciones, impulsado por cientos de API que conectan su sistema de gestión de contenidos (CMS), su plataforma de pago y sus servicios de registro de suscriptores.

Al trasladar los dominios críticos a Akamai App & API Protector, The Telegraph cuenta ahora con un control, una visibilidad y un control coherentes en cientos de API, que son especialmente importantes para los servicios de registro y pago de gran valor.

La biblioteca de contenidos de The Telegraph abarca años de publicación diaria (cientos de artículos al día), respaldada por una enorme red de redireccionamientos para SEO e interacción del público. Anteriormente, la gestión de redireccionamientos requería mucho tiempo y dependía de servidores internos.

Al pasar a EdgeWorkers, The Telegraph transformó el proceso. Lo que antes tardaba hasta 15 minutos ahora ocurre en segundos. "Cuando queremos dirigir el tráfico de un artículo a otro, EdgeWorkers pone en marcha los redireccionamientos de manera instantánea en todas las ubicaciones, de forma fiable y en todo momento", señala Rizzo.

Comprender los patrones de tráfico es clave para la eficiencia operativa y la planificación estratégica. Sin embargo, en el pasado, era difícil para The Telegraph recopilar y correlacionar todos sus registros. "Esto dificultaba la depuración de problemas, especialmente para nuestro CMS y nuestro sitio web", explica.

TrafficPeak centraliza y correlaciona los registros. Para el equipo de ingeniería de fiabilidad del sitio de The Telegraph, ha supuesto un cambio radical. "TrafficPeak nos muestra el panorama completo, reduciendo la resolución de problemas de horas a minutos", afirma Rizzo.

Además, Rizzo valora que TrafficPeak almacene y gestione grandes conjuntos de datos durante periodos prolongados. "El acceso a esos datos significa que podemos ver correlaciones y patrones que, de lo contrario, podríamos pasar por alto", continúa.

Rizzo considera que Akamai desempeñará un papel importante en la evolución futura de la aplicación de The Telegraph. "Akamai ofrece de forma fiable la experiencia, la asistencia y las soluciones líderes del sector que necesitamos para proteger nuestro periodismo y hacer crecer nuestro negocio", concluye.

Telegraph Media Group (TMG) es el editor de The Daily Telegraph y The Sunday Telegraph, The Telegraph Magazine, Telegraph.co.uk y la aplicación de The Telegraph. TMG es un negocio que da prioridad a los suscriptores, con el periodismo de calidad como bandera, y un objetivo para construir conexiones más profundas con nuestros suscriptores a escala.