{"id":4409,"date":"2019-10-14T12:06:21","date_gmt":"2019-10-14T12:06:21","guid":{"rendered":"https:\/\/www.yateo.com\/blog\/?p=4409"},"modified":"2021-07-05T09:44:43","modified_gmt":"2021-07-05T07:44:43","slug":"google-ignore-le-noindex-dans-le-fichier-robots-txt","status":"publish","type":"post","link":"https:\/\/www.yateo.com\/blog\/google-ignore-le-noindex-dans-le-fichier-robots-txt","title":{"rendered":"Google ignore le \u00ab noindex \u00bb dans le fichier robots.txt"},"content":{"rendered":"

Le <\/span>\u00ab robots.txt \u00bb est un fichier texte <\/b>plac\u00e9 \u00e0 la racine d\u2019un site web et qui sera lu par les <\/span>crawlers (ou robots d\u2019exploration) <\/b>des moteurs de recherche. En effet, les crawlers ont pour but d\u2019<\/span>explorer et d\u2019analyser les pages web <\/b>des sites internet dans le but de les <\/span>indexer.\u00a0<\/b><\/p>\n

<\/p>\n

\u00c0 quoi sert le robots.txt ?\u00a0<\/b><\/h2>\n

Les webmasters souhaitent que certaines de leurs pages ne soient pas analys\u00e9es par ces robots.<\/span> C\u2019est l\u00e0 que le fichier \u00ab robots.txt \u00bb intervient. Il permet d\u2019indiquer aux crawlers quelles pages ils doivent ou non visiter. Ainsi <\/span>les crawlers ne peuvent pas indexer ces pages <\/b>et elle n’appara\u00eetront pas dans les r\u00e9sultats des moteurs de recherche. <\/span>Ce fichier est le <\/span>moyen de communication <\/b>entre les \u00e9diteurs de page web et les robots explorateurs.\u00a0<\/span><\/p>\n

Un fichier non standardis\u00e9.<\/b>\"\"<\/a><\/h2>\n

Le fichier <\/span>\u00ab robots.txt \u00bb existe depuis plus de 25 ans <\/b>maintenant. Il a \u00e9t\u00e9 cr\u00e9e par <\/span>Martijn Koster <\/span><\/i>en 1994. Initialement, il r\u00e9digea le <\/span>Robots Exclusion Protocol (REP) <\/b>qui posait les bases du fonctionnement de ce fichier. Mais depuis, m\u00eame si d\u00e9sormais il est devenu indispensable \u00e0 tous les webmasters, <\/span>il n\u2019a jamais r\u00e9ellement \u00e9t\u00e9 standardis\u00e9 <\/b>: c\u2019est ce que Google a d\u00e9cid\u00e9 de faire. Effectivement, de <\/span>nombreuses fonctionnalit\u00e9s et syntaxes ont \u00e9t\u00e9 ajout\u00e9es <\/b>avec le temps par les diff\u00e9rents moteurs de recherche, mais rien de commun \u00e0 tous, ni d\u2019officiel. <\/span><\/p>\n

\"\"<\/a>

Source : Twitter @googlewmc<\/p><\/div>\n

C\u2019est pourquoi <\/span>avec l\u2019aide du cr\u00e9ateur du REP et d\u2019autres moteurs de recherche<\/b>, Google se lance dans ce <\/span>processus de standardisation<\/b>, qui a pris effet <\/span>d\u00e8s le 1er septembre 2019. <\/b><\/p>\n

Concr\u00e8tement qu\u2019est-ce qui change ?\u00a0<\/b><\/h2>\n

Conjointement \u00e0 cette volont\u00e9 de standardisation, <\/span>Google a annonc\u00e9 l\u2019abandon du support de certains tags <\/b>jug\u00e9s inad\u00e9quats. Notamment le \u00ab noindex \u00bb.\u00a0<\/span><\/p>\n

Le \u00ab noindex \u00bb permettait aux webmasters d\u2019<\/span>indiquer de mani\u00e8re active qu\u2019une page ne devait pas \u00eatre index\u00e9e <\/b>par le moteur de recherche. Cependant, pour Google, cette d\u00e9claration n\u2019a plus sa place dans le \u00ab robots.txt \u00bb.\u00a0<\/span><\/p>\n

Quelle sont les solutions alternatives ?<\/b><\/h2>\n