Google souhaite que les robots.txt, ou protocole d’exclusion des robots (REP), deviennent un standard du web. En collaboration avec l’auteur original du protocole de 1994, le géant du web a documenté le fonctionnement du REP et l’a soumis à l’IETF (Internet Engineering Task Force), l’organisme qui élabore et promeut les standards Internet.
Ce fichier est une très mauvaise idée. C’est plutôt une faille de sécurité. Il facilite le travail des hackeurs qui auront facilement la liste des répertoires où ils peuvent trouver des données intéressantes.