Cloudflare, l'entreprise qui gère environ 20% du trafic internet mondial, vient d'annoncer un changement majeur dans sa façon de gérer les crawlers d'intelligence artificielle. À compter du 1er juillet 2025, la société bloquera par défaut tous les bots IA qui tenteront d'aspirer le contenu des sites qu'elle protège.
Cette décision fait suite à des chiffres alarmants révélés par Matthew Prince, le PDG de Cloudflare. Selon lui, pour chaque visite redirigée par OpenAI vers un site web, ses bots ont effectué 1700 crawls de pages. Chez Anthropic, cette moyenne grimpe jusqu'à 73 000 crawls par visite. Il s'agit d'un véritable pillage du contenu en ligne, aux dépens des créateurs de contenus.
Pour y remédier, Cloudflare met en place un nouveau modèle baptisé "Pay Per Crawl". Désormais, les entreprises d'IA devront payer pour chaque page qu'elles souhaitent indexer à partir des sites protégés par Cloudflare. Cette mesure vise à valoriser le travail des créateurs de contenu et à lutter contre l'exploitation abusive des données par certaines IA.
Ce changement de paradigme dans l'industrie du web devrait avoir de profondes répercussions sur l'écosystème de l'intelligence artificielle. Les entreprises d'IA devront revoir leurs modèles économiques et leurs pratiques de collecte de données, au risque de voir leur accès aux contenus en ligne considérablement restreint.