Telegraph detém scrapers de IA e retoma o controle

O Telegraph Media Group (TMG) construiu seus negócios com jornalismo de alta qualidade entregue a um público global. Com um modelo que prioriza assinaturas, o TMG superou sua ambiciosa meta de atingir 1 milhões de assinaturas em 2023. Desde então, o aumento do scraping de conteúdo por IA criou novos desafios. Cada vez mais, os bots de IA usam o conteúdo jornalístico do Telegraph sem permissão. O Telegraph recorreu à Akamai, sua parceira de confiança, para encontrar uma solução. Com a Akamai, o Telegraph é capaz de proteger seu conteúdo contra bots de IA e defender suas APIs.

Os bots de IA não apenas coletam conteúdo para treinar modelos, mas também geram resumos para os usuários, muitas vezes sem atribuição ou compensação. "As pessoas veem um resumo fornecido por IA e não clicam em nosso website", explica Ciro Rizzo, Diretor de Tecnologia do TMG. "Isso se traduz em perda de tráfego, engajamento e receita." 

Alguns resultados até deturpam o jornalismo do Telegraph, arriscando a integridade da marca. Além disso, o tráfego de scrapers consome capacidade de infraestrutura dispendiosa sem gerar renda. "Quando nosso conteúdo é licenciado para parceiros, somos compensados", explica Rizzo. "Mas é diferente quando é coletado e usado sem permissão. Ele não se alinha com nosso modelo ou estratégia de negócios."

O Telegraph precisava distinguir entre bots "bons" e "ruins", bloquear crawlers não autorizados e reunir inteligência para impor acordos de licenciamento com aqueles que desejam acesso. Tendo trabalhado com a Akamai por anos, a escolha foi simples. "Nenhum outro provedor pode lidar com a variedade de desafios que enfrentamos, desde garantir a entrega rápida de conteúdo até permitir o gerenciamento sofisticado de bots", afirma Rizzo.

Para resolver diretamente o problema do scraping de IA, o Telegraph está executando uma prova de conceito (PoC) do Content Protector. Os primeiros resultados são promissores: "O primeiro estágio foi revelador: finalmente entendemos o tamanho do ecossistema de crawlers de IA e a verdadeira escala do desafio", afirma Rizzo.

A PoC já levou ao bloqueio de um grande número de bots agressivos, muitos de empresas obscuras de IA. Essas informações têm o potencial de impulsionar futuras negociações com crawlers autorizados, criando novos fluxos de receita e reduzindo os impactos na marca e nos custos.

No centro da estratégia do Telegraph voltada para dispositivos móveis está seu ecossistema de aplicações, alimentado por centenas de APIs que conectam seu sistema de gerenciamento de conteúdo (CMS), plataforma de pagamento e serviços de registro de assinantes.

Ao mover domínios críticos por trás do Akamai App & API Protector, o Telegraph agora tem governança, visibilidade e controle consistentes de centenas de APIs, que são especialmente importantes para serviços de registro e pagamento de alto valor.

A biblioteca de conteúdo do Telegraph abrange anos de publicação diária — centenas de artigos por dia — com suporte de uma enorme rede de redirecionamentos para SEO e engajamento do público. Anteriormente, o gerenciamento de redirecionamentos era demorado e dependente de servidores internos.

Ao mudar para o EdgeWorkers, o Telegraph transformou o processo. O que levava até 15 minutos agora acontece em segundos. "Quando queremos direcionar o tráfego de um artigo para outro, o EdgeWorkers ativa redirecionamentos instantaneamente em todos os locais, de forma confiável, sempre", afirma Rizzo.

Entender os padrões de tráfego é fundamental para a eficiência operacional e o planejamento estratégico. No entanto, no passado, era difícil para o Telegraph agregar e correlacionar todos os seus registros. "Isso dificultava a depuração de problemas, especialmente para nosso CMS e website", ele explica.

O TrafficPeak centraliza e correlaciona registros. Para a equipe de engenharia de confiabilidade do website do Telegraph, isso é um divisor de águas. "O TrafficPeak nos mostra todo o panorama, fazendo com que a resolução de problemas aconteça em minutos ao invés de horas", afirma Rizzo.

Além disso, Rizzo aprecia que o TrafficPeak armazene e gerencie grandes conjuntos de dados por períodos prolongados. "O acesso a esses dados significa que podemos ver correlações e padrões que poderíamos perder", ele continua.

Rizzo acredita que a Akamai desempenhará um papel importante na evolução futura do app da Telegraph. "A Akamai oferece de forma confiável a experiência, o suporte e as soluções líderes do setor de que precisamos para proteger nosso jornalismo e expandir nossos negócios", ele conclui.

O Telegraph Media Group (TMG) é a editora do Daily Telegraph e do Sunday Telegraph, da Telegraph Magazine, do Telegraph.co.uk e do app Telegraph. O TMG é uma empresa voltada para assinantes, com foco no jornalismo de qualidade e com o objetivo de desenvolver conexões mais profundas com nossos assinantes em escala.