Les éditeurs de sites disposent désormais d’un moyen plus précis pour contrôler l’utilisation de leurs contenus par les systèmes d’intelligence artificielle. Cloudflare veut leur permettre de bloquer l’exploitation de leurs pages pour l’entraînement des modèles sans pour autant disparaître des résultats des moteurs de recherche.
La multiplication des robots utilisés par les entreprises d’intelligence artificielle a créé un nouveau dilemme pour les propriétaires de sites internet. Autoriser le passage des robots peut permettre à leurs contenus d’être indexés et donc de rester accessibles aux internautes, mais cela peut également faciliter leur utilisation pour entraîner des modèles d’IA.
Cloudflare cherche désormais à dissocier ces deux usages. L’entreprise, qui fournit des services d’infrastructure et de sécurité à une part importante du web mondial, a introduit de nouveaux paramètres permettant aux éditeurs de définir plus précisément ce que les robots sont autorisés à faire avec leurs pages.
Trois usages désormais distingués
Au cœur du dispositif figure une nouvelle directive baptisée « Disallow AI Training ». Elle permet aux gestionnaires de sites d’indiquer, via le fichier robots.txt, qu’ils refusent que leurs contenus soient utilisés pour entraîner des modèles d’intelligence artificielle.
Cette restriction ne signifie toutefois pas que les pages deviennent invisibles pour les moteurs de recherche. Cloudflare établit une distinction entre plusieurs catégories d’accès : l’indexation classique destinée à permettre aux internautes de retrouver un contenu, la collecte destinée à l’entraînement des modèles et les robots associés à des agents d’IA intervenant à la demande des utilisateurs.
Cette séparation répond à une évolution importante du web. Un même robot pouvait auparavant être utilisé pour plusieurs fonctions, rendant plus difficile pour un éditeur de déterminer précisément ce qu’il autorisait ou refusait.
Un enjeu de contrôle pour les éditeurs
Pour les médias, les entreprises et les créateurs de contenus, la question dépasse désormais la seule visibilité dans les moteurs de recherche. Les contenus publiés en ligne peuvent servir à alimenter des systèmes d’IA capables de générer des réponses, de résumer des articles ou de produire de nouveaux contenus.
Le nouveau système de Cloudflare cherche ainsi à donner davantage de contrôle aux propriétaires de sites sans les contraindre à choisir entre deux options extrêmes : accepter l’utilisation de leurs pages par les systèmes d’IA ou risquer de réduire leur présence dans les moteurs de recherche.
Cette distinction devient particulièrement importante alors que les robots d’IA se multiplient et que leurs fonctions deviennent de plus en plus variées. Certains collectent des informations pour l’entraînement de modèles, tandis que d’autres interviennent directement dans des services utilisés par les internautes.
Robots d’IA : une nouvelle bataille autour des contenus
La gestion de ces accès devient progressivement un sujet central pour l’économie du web. Les entreprises technologiques développent leurs modèles à partir de volumes considérables de données, tandis que les éditeurs cherchent à préserver la valeur de leurs contenus et à mieux encadrer leur réutilisation.
Avec ces nouveaux réglages, Cloudflare entend donc instaurer une distinction plus lisible entre visibilité et exploitation des contenus. Une approche qui pourrait contribuer à redéfinir les règles de circulation des données sur internet à mesure que les moteurs de recherche traditionnels cohabitent avec les nouveaux services d’intelligence artificielle.
