Qu'est-ce qu'un fichier robots.txt ?

Un fichier robots.txt est un fichier texte brut placé à la racine de votre domaine qui indique aux robots d'exploration Web à quelles pages ou sections ils sont autorisés ou non à accéder.

Le fichier robots.txt bloque-t-il l'accès aux pages ?

Non, le fichier robots.txt est consultatif. Les robots d'exploration bien élevés le respectent, mais cela n'empêche pas l'accès aux robots malveillants. Ne comptez pas sur robots.txt pour masquer le contenu sensible.

Qu’est-ce que GPTBot et dois-je le bloquer ?

GPTBot est un robot d'exploration Web OpenAI utilisé pour collecter des données de formation pour les modèles d'IA, notamment ChatGPT. De nombreux propriétaires de sites choisissent de le bloquer pour empêcher que leur contenu ne soit utilisé comme données de formation d'IA sans compensation.

Quelle est la différence entre Disallow : / et Disallow : * ?

Interdire : / bloque l'accès à toutes les pages à partir de la racine, ce qui est tout. Interdire : * est une syntaxe incorrecte. Le caractère générique * permet de faire correspondre les modèles d'URL dans les chemins.

Puis-je autoriser un sous-dossier tout en interdisant tout le reste ?

Oui. Placez la directive Allow avant la directive Disallow. Autoriser : /public/ suivi de Disallow : / autorise uniquement le dossier public et bloque tout le reste.

Quels chemins les sites WordPress devraient-ils interdire ?

Les sites WordPress devraient généralement interdire /wp-admin/, à l'exception de /wp-admin/admin-ajax.php et /wp-login.php.

Qu'est-ce qu'un délai d'exploration ?

La directive Crawl-delay indique à un bot d'attendre N secondes entre les requêtes. Notez que Googlebot ignore le délai d'exploration et utilise sa propre limitation de débit de Google Search Console.

Quels robots d'intelligence artificielle existent en dehors de GPTBot ?

Les robots d'exploration d'IA connus incluent GPTBot, CCBot, anthropic-ai, Google-Extended, PerplexityBot, Bytespider et DataForSeoBot. Le préréglage Block AI Training Bots inclut tous ces éléments.

Puis-je utiliser des caractères génériques dans les chemins ?

Oui. Le caractère $ correspond à la fin d'une URL. Le caractère * correspond à n'importe quelle séquence de caractères. Par exemple Disallow : /*.pdf$ bloque tous les fichiers PDF.

Où va le fichier robots.txt ?

Le fichier robots.txt doit être placé à la racine de votre domaine. Cela s'applique uniquement au domaine où il est hébergé.

Robots.txt Generator

Nouveau

Créez des fichiers robots.txt avec une interface de formulaire, des préréglages courants dont Bloquer les bots IA, et des explications en langage simple.

Gratuit pour toujours

Sans inscription

Sans stockage

User-agent: *
Allow: /

URL du sitemap (facultatif)

Outils associés

Sitemap Generator

developer

Generate a valid XML sitemap from a URL list with changefreq, priority, and lastmod settings.

Try it free

Meta Tag Generator

developer

Generate complete HTML meta tags including Open Graph and Twitter Card with live SERP preview.

Try it free

Intégrer cet outil

Ajoutez cet outil à votre site avec un extrait iframe.

<iframe src="https://dukotools.com/tools/robots-txt-generator?embed=1" width="100%" height="600" frameborder="0" allow="clipboard-write" loading="lazy" title="robots-txt-generator tool"></iframe>

About Robots.txt Generator

Robots.txt Generator crée des fichiers robots.txt valides via une interface utilisateur de formulaire sans que vous ayez à mémoriser la syntaxe des directives. La section Agents utilisateurs vous permet d'ajouter plusieurs règles : sélectionnez un bot dans une liste déroulante de robots d'exploration courants, notamment Googlebot, Bingbot, GPTBot, CCBot et DuckDuckBot, ou saisissez n'importe quel agent utilisateur personnalisé. Chaque règle comporte des entrées distinctes d'autorisation et d'interdiction de chemins. Le panneau des préréglages fournit des solutions en un clic : Block AI Training Bots ajoute Disallow pour GPTBot, CCBot, anthropic-ai et d'autres robots d'exploration d'IA connus ; Bloquer tous les robots ; Autoriser tous les robots ; Norme WordPress ; et bloquez tout sauf la page d'accueil. Le panneau d'explication en anglais simple traduit chaque directive générée en phrases lisibles.

Principales fonctionnalités

Interface utilisateur basée sur un formulaire
Créez robots.txt via un formulaire structuré sans mémoriser la syntaxe des directives.
Bloquer le préréglage des robots d'entraînement IA
Le préréglage en un clic ajoute Disallow pour GPTBot, CCBot, anthropic-ai et tous les robots d'exploration d'IA connus.
Liste déroulante commune des robots
Sélectionnez Googlebot, Bingbot, GPTBot, CCBot, DuckDuckBot ou saisissez un agent utilisateur personnalisé.
Règles d'agent utilisateur multiples
Ajoutez autant de blocs d’agent utilisateur que nécessaire avec des chemins d’autorisation et d’interdiction individuels.
Explications en anglais simple
Chaque directive générée est expliquée dans un anglais clair et lisible à côté de la sortie.
Directive URL du plan du site
Ajoute une directive Sitemap pointant les robots vers votre sitemap.xml.
Télécharger en tant que robots.txt
Télécharge le fichier avec le nom de fichier correct pour le placer à la racine de votre site.

Comment utiliser

1
Choisissez un préréglage (facultatif)
Cliquez sur une carte prédéfinie pour des configurations courantes instantanées telles que Block AI Bots ou WordPress Standard.
2
Ajouter des règles d'agent utilisateur
Sélectionnez ou saisissez un agent utilisateur et entrez les chemins d'autorisation et d'interdiction.
3
Ajoutez l'URL de votre plan de site
Entrez votre URL sitemap.xml dans l'entrée Plan du site.
4
Lire les explications
Consultez l'explication en anglais simple de chaque directive générée.
5
Télécharger ou copier
Téléchargez le fichier au format robots.txt ou copiez le contenu.

Cas d'utilisation réels

Bloquer les grattoirs de données IA

Un propriétaire de blog utilise le préréglage Block AI Training Bots pour ajouter des règles d'interdiction pour tous les robots d'exploration d'IA connus afin de protéger leur contenu.

Configuration du site de commerce électronique

Un développeur de commerce électronique utilise le formulaire pour autoriser les pages de produits tout en interdisant les pages de panier, de paiement, d'administration et de recherche interne.

Configuration du site multimédia

Un éditeur de presse utilise le préréglage WordPress Standard et ajoute des règles personnalisées pour bloquer l'accès aux pages d'archives d'auteur qui dupliquent le contenu.

Foire aux questions

Related Free Tools

Explore these tools that work great alongside Robots.txt Generator:

Sitemap Generator

Generate a valid XML sitemap from a URL list with changefreq, priority, and lastmod settings.

Meta Tag Generator

Generate complete HTML meta tags including Open Graph and Twitter Card with live SERP preview.