Vous pouvez indiquer aux moteurs de crawle d’IA de ne pas indexer votre site en ajoutant dans votre fichier robot.txt les commandes ci-dessous.
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
Vous pouvez indiquer aux moteurs de crawle d’IA de ne pas indexer votre site en ajoutant dans votre fichier robot.txt les commandes ci-dessous.
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
Comme vous le savez, une bonne pratique est d’ajouter un fichier robots.txt pour indiquer vos préférences en terme de crawler (enfin quand c’est pris en compte) idem si vous utilisez une régie de pub (ads.txt).
Pour qu’il soit visible dans un projet Symfony, il faut les placer dans le dossier public.