Googlebot игнорирует <meta name=”robots” content=”noarchive”/>

У Google свой подход

Я на днях поставил эксперимент с целью выяснить, понимает ли Googlebot указание на запрет архивирования страницы (<meta name="robots" content="noarchive"/>). Идея заключалась в том, чтобы разрешить поисковикам индексировать контент, доступный не всем пользователям, но при этом не сохранять его в архиве. Это позволило бы сайтам, имеющие защищённые страницы, появляться в результатах поиска по релевантному содержимому, но при этом закрывать (возможно, частично) контент от неавторизованных пользователей. Возможно, это не совсем этично, но это не обсуждается.

Результаты показаны на скриншоте (для просмотра в полном разрешении его нужно кликнуть):

Yahoo! Slurp поддерживает <meta name="robots" content="noarchive"/>, Teoma тоже, и даже Bing/MSNBot поддерживает данный синтаксис (справедливости ради, я не проверял, следуют ли они инструкциям в тэге или нет).

Я очень надеялся, что Googlebot тоже поддерживает подобный синтаксис (и следует инструкциям), но, как видим, нет. Осталось проверить, как он отреагирует на <meta name="googlebot" content="noarchive"/>.

Связанные записи

• Google Adsense и XHTML (0)

Автор: Vladimir; опубликовано в: SEO; метки: Google