Robots.txt : une ligne pour refuser l’entraînement des IA

Refuser que ses contenus servent à l’entraînement des IA obligeait jusqu’ici à connaître le nom de chaque robot. Depuis le 30 octobre, quatre grandes entreprises promettent de lire une seule ligne du fichier robots.txt.

Ce que Google, OpenAI, Microsoft et Anthropic ont annoncé

Le 30 octobre, les quatre entreprises ont publié leurs annonces le même jour. Elles s’engagent à respecter un signal commun dans robots.txt, le fichier où un site indique aux robots ce qu’ils peuvent lire. Le texte qui le définit est un brouillon de l’IETF, l’organisme qui rédige les standards d’internet. Son auteur, Kevin Kelley, travaille chez Anthropic. L’IETF précise que ce brouillon n’a aucun statut officiel et qu’il expire le 3 mai 2027.

Les calendriers diffèrent. Anthropic a déjà commencé. Microsoft appliquera les nouvelles préférences à partir du 1er février 2027. Google vise 2027 et OpenAI parle des mois qui viennent. Google ajoute que le signal est cohérent avec le code de bonnes pratiques européen pour les modèles d’IA à usage général, qui reconnaît robots.txt comme moyen d’exprimer ses préférences.

La ligne à écrire dans robots.txt

Pour refuser l’entraînement sur tout un site, il faut deux lignes. L’exemple du brouillon en ajoute une troisième, qui autorise un dossier précis :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

On peut donc décider dossier par dossier. Le nom doit s’écrire exactement comme ci-dessus, avec les deux tirets bas du début. La règle générale « User-agent: * » ne compte pas pour ce signal : un fichier qui bloque déjà tous les robots n’exprime aucune préférence sur l’entraînement tant que ce groupe n’existe pas.

Les limites du signal

• C’est une préférence. Rien n’oblige un robot à la suivre, et le brouillon admet que des accords privés peuvent la contourner.
• Elle vaut pour les téléchargements futurs. Ce qui a déjà été collecté reste chez les entreprises.
• La recherche n’est pas touchée. Google lira le signal comme un blocage de Google-Extended, son contrôle d’entraînement depuis 2023, et vos pages restent dans Google.
• OpenAI garde ses réglages actuels : GPTBot pour l’entraînement, OAI-SearchBot pour la recherche de ChatGPT. Refuser le second retire le site des réponses de recherche de ChatGPT.
• Microsoft ajoute à partir de février 2027 un réglage page par page, par balise ou en-tête HTTP, et une préférence séparée pour la citation dans ses réponses IA.

Ce que ça change si vous publiez en ligne

Un blog, un site d’entreprise ou une boutique peuvent exprimer leur choix une seule fois. Refuser la citation dans les réponses IA a un coût : Microsoft prévient que cela réduit la visibilité d’une marque dans ses outils. Les visites venues de Google bougent déjà avec l’IA : Reddit dit en avoir perdu plus d’un million par semaine, ce que nous racontons dans notre article sur Reddit et le mode IA de Google.

Notre avis

Je trouve l’idée bonne, mais elle est pensée pour ceux qui gèrent un site. Chacun devrait pouvoir activer ou couper l’entraînement IA à tout instant, selon ce qu’il publie. Je peux vouloir l’interdire pour un contenu précis, un document de travail ou un texte personnel, sans le couper pour tout le reste ni pour toujours. Un fichier technique qui ne regarde que l’avenir, c’est un début. Le risque, c’est qu’il reste un réglage de spécialistes.

Sources

• IETF, brouillon « Machine-Readable Training Preference Signal » (Kevin Kelley, 30 octobre 2026)
• Google Search Central, annonce de John Mueller
• OpenAI, annonce du signal robots.txt commun
• Bing, annonce de Microsoft sur l’entraînement et la citation
• Unite.AI, Google et Microsoft (31 octobre 2026)
• Engadget, les quatre entreprises et robots.txt (31 octobre 2026)