Метатег robots
Метатег robots – это код гипертекстовой разметки, позволяющий контролировать индексирование и показ страниц сайта в результатах поиска. Код можно писать на любой странице сетевого ресурса в специально отведенном для него месте. Роботы поисковых систем в процессе индексирования будут читать значение этого метатега и учитывать его в дальнейшей работе над сетевым ресурсом. Временное или постоянное внедрение этого кода может понадобиться в разных ситуациях. Например, он позволяет скрыть от поисковых роботов определенные ссылки или контент, который не должен попасть в выдачу поисковых систем. Этим тегом пользуются при оптимизации сайта, поисковом продвижении, наполнении ресурса уникальными статьями.
robots1.png
robots1.png
Использование
Код вписывают в заголовок каждой страницы, которую посещает робот. HTML-код выглядит следующим образом:
Все, что пользователь впишет между тегами
и будет находиться в заголовке гипертекстовой разметки страницы.Обсуждаемый код выглядит так:
Между кавычками нужно указать команду, которую вы хотите отдать поисковому роботу.
Список стандартных значений метатега
Index и noindex. Разрешает или запрещает поисковику индексировать содержимое страницы соответственно. Полезно использовать при продвижении сайта и работе над ним в целом.
Follow и nofollow. Первое значение разрешает роботу переходить по ссылкам в пределах страницы, а второе запрещает. Также используется при SEO-оптимизации сетевых ресурсов.
Nosnippet. Директива запрещает роботу выводить в поисковой выдаче содержимое сниппета – краткое описание страницы.
Noarchive. Код запрещает роботу выводить в результатах поиска ссылку на сохраненную в кеше копию страницы.
All/none. Значение тега разрешает или запрещает индексацию всей страницы.
Noimageindex. Команда запрещает роботу индексировать опубликованные на странице фото.
Существуют и другие специальные указания, запрещающие или разрешающие поисковым роботам совершать определенные действия при индексировании содержимого страницы. Если тег отсутствует, то робот автоматически индексирует весь контент и все ссылки на странице. Если написано несколько тегов, значения которых противоречат друг другу, то поисковая система примет разрешающую директиву.
Значения метатега можно комбинировать, записывая команды через запятую. Записывать параметры можно без учета регистра. Если в атрибуте тега name стоит значение robots, то все поисковые системы будут учитывать его значение в процессе индексации. При желании можно дать команду конкретной поисковой системе, указав в атрибуте название робота. Например, значение Googlebot позволит запретить или разрешить определенные действия только поисковой системе Google.
Если пользователь знает названия всех роботов, используемых поисковыми системами, то сможет давать команды каждому из них. Например, чтобы страница появилась в основном поиске Google, но не в новостях этого поисковика, нужно написать следующее:
Для передачи нескольких команд одной или нескольким поисковым системам или отдельным роботам можно писать несколько метатегов с разными или одинаковыми значениями. Если пользователь запутается и напишет команды, противоречащие друг другу, то робот выберет более строгую из них.
robots2.jpg
robots2.jpg
Причины использования метатега robots
Разработчики и пользователи сетевых ресурсов знают, что существует файл robots.txt, который помогает при СЕО-оптимизации, позволяя разрешать или запрещать роботам совершать определенные действия. Метатег robots дает возможность:
- закрывать содержимое страницы, оставляя ссылки доступными для индексирования;
- давать команды поисковым роботам при недоступности корневой директории сайта;
- открыть доступ роботу к просмотру содержимого некоторых страниц при закрытии от индексации каталогов.
Тег robots применяют совместно с файлом robots.txt для более тонкой настройки параметров индексации.
Meta name robots content index follow что это
Назначение тега robots состоит в том, чтобы давать возможность или запрещать роботам, посещающим сайт, добавлять сведения о нем в базу данных поисковых систем (индексировать страницу). Еще этот элемент может предложить роботам обойти весь сайт и проиндексировать его страницы. Запрещать индексирование файлов и каталогов предпочтительно через файл robots.txt Пользователи, не имеющие доступа к корневой директории сервера, могут использовать этот тег для запрета индексирования своих документов и каталогов.
Тег ставится в начале html-документа (значения помещаются в meta тег).
Его запись довольно проста (не имеет значения большие или маленькие буквы используются):
Атрибут content элемента robots может принимать такие параметры:
- index — робот может индексировать страницу
- noindex — робот не может индексировать страницу
- follow — робот может переходить по ссылкам со страницы
- nofollow — робот не может переходить по ссылкам со страницы
- all — то же, что и INDEX, FOLLOW
- none — то же, что и NOINDEX, NOFOLLOW
- noimageindex — робот не может индексировать картинки
- noarchive — не сохранять копию и не показывать ссылку «сохраненная копия»
- noyaca — для ПС yandex: не использовать описание из Яндекс.Каталога в результатах поиска.
- noodp — не использовать описание из каталога DMOZ в результатах поиска.
- notranslate — запретить перевод контента вашей страницы (для Google — не предлагать автоперевод)
- nosnippet — запретить вывод описания страницы в результатах поиска, также запрещает кешировать (noarchive)
Meta name robots noindex и nofollow
Для того чтобы отключить индексацию нужно написать
Если вы хотите чтобы робот не переходил по ссылкам со страницы нужно изменить значение meta-тега атрибута content на nofollow.
Чтобы не дать определенному поисковому роботу индексировать вашу страницу, но разрешить это другим, нужно использовать такую запись:
Как видите, если аргумент content имеет несколько параметров, то они перечисляются через запятую.
Meta name yandex
Имя робота в случае ПС Яндекса — yandex
Meta name google
Для поисковой системы Google имя робота следует указать — google, пример:
Meta name robots index и follow
Чтобы одновременно можно было переходить индексировать страницу и переходить по ссылкам следует записать:
Чтобы не заносить в базу данных поисковой машины картинки пишут:
Meta name robots content noarchive
Поисковые машины Google и Yandex для каждого сканируемого сайта, делают и сохраняют его снимок. Архивированный вариант хранится в кэше, что дает возможность поисковику отображать эту страницу по специальной ссылке в результатах поиска, когда она по каким-то техническим причинам недоступна. Веб-страница, хранимая в кэше, отображается такой, какой она была в тот момент, когда ее сохранил поисковый робот. О том, что пользователь просматривает кэшированную страницу говорит сообщение в верхней части сайта. Можно обратиться к кэш-версии страницы, нажав на кнопку «сохранено в кэше», в результатах поиска.
Если вы не желаете, чтобы в поисковых системах была подобная ссылка, можно дописать в head такой тег:
Для того чтобы кнопка «Сохранено в кэше» не выводилась в определенной поисковой системе можно написать:
Такая запись убирает только ссылку «Сохранено» на архивированную страницу, поисковая система и дальше будет индексировать сайт и отображать его фрагмент.
NOSNIPPET — убрать сниппет
Сниппетом называется текст, под заголовком страницы в результатах поиска, используемый для описания сайта.
Чтобы он не выводился, в части head добавляется такой тег:
Когда удаляется фрагмент с ним удаляются и архивированные в кэш страницы.
NOODP — запрет использования DMOZ поисковиками
Для создания фрагментов часто применяется такой источник, как Open Directory Project. Чтобы поисковики не применяли его, для описания содержимого сайта, добавляется тег:
Параметры атрибута content можно объединять, таким образом:
Запреты поисковым системами
Каким образом можно дать понять поисковому роботу, что какую-то часть страницы не нужно проверять или по какой-то одной ссылке не стоит переходить?
Разные поисковые системы предлагают сделать это по разному. Яндекс советует вставлять такой текст между тегами , тогда как Google предлагает добавлять к ссылкам атрибут rel=»nofollow».
Мета тег document-state
Программист может указать роботу, что содержание какого-то документа может изменяться в будущем. Если он напишет об этом только в robots.txt, то пользователь не сможет знать, что сайт может измениться.
В таких случаях применяется тег document-state. Он принимает два значения: static и dynamic(по умолчанию):
Static означает, что нет необходимости переиндексировать страницу в будующем, так как она не будет изменяться. Dynamic означает что необходимо регулярно переиндексировать страницу, так как она будет изменяться.
Совет №7
В ряде случаев полезным, оказывается, закрыть ряд страниц сайта от индексации с помощью meta-тега robots, при этом оставив возможность роботу переходить по ссылкам со страницы. Делается это с помощью проверки наличия строки или запрашиваемого параметра в URL-адресе страницы.
Проверка запроса GET-параметра
Используйте строчки указанные ниже для проверки запроса параметра SHOWALL_1 при формировании страницы и установке meta-тега noindex, follow. Вы можете заменить параметр SHOWALL_1 на любой другой удобный для вас, скажем, PAGEN_1, page и так далее.
Таким образом, мы установим значение meta-тега (noindex, follow) для страниц с параметром и значение (index, follow) для страниц без параметра.
Проверка вхождения строки в URL
Если требуется закрыть таким образом от индексации папку или какой-то тип страниц по строчке в URL-адресе, то производится проверка наличия этой строки в URL с помощью представленных ниже строк.
Таким образом, мы установим значение meta-тега (noindex, follow) для страниц с наличием строки detail и значение (index, follow) для страниц без этой строки. Набор символов detail вы можете заменять по своему желанию на другие наборы, скажем, archive, old, print и так далее.
Или GET-параметр или строка
Полезным оказывается одном правилом закрыть от индексации и страницы с GET-параметром и страницы с наличием строчки в URL, делается это с применением оператора ИЛИ. Пример с запросом параметра PAGEN_2 ИЛИ вхождением строки print.
Внимание! Важно проверять, чтобы в других местах шаблона (1С-Битрикс или другой CMS) не было второго подключения meta-тега с противоречившими значениями. Иначе можно не добиться желаемого эффекта. При наличии двух и большего числа различных тегов, робот Яндекса выбирает самый разрешающий/положительный из них (индексировать и следовать по ссылкам), если такой вариант указан в meta-теге. Имеется возможность отдельно указывать правила именно для робота Яндекса или для робота Google, тогда используйте строчки.
Спецификации тега Robots ( meta ), атрибута data-nosnippet и HTTP-заголовка X-Robots-Tag
В этом документе рассказывается о том, как управлять показом контента в результатах поиска Google, задавая настройки на уровне страницы и текста. Настройки на уровне страницы задаются с помощью HTTP-заголовка или метатега HTML meta . Для настроек на уровне текста в HTML-элементы в коде страницы добавляется атрибут data-nosnippet .
Имейте в виду, что эти настройки учитываются только в том случае, если у поисковых роботов есть доступ к страницам, на которых они заданы.
Правило применяется только для поисковых роботов. Если вы хотите заблокировать другого робота, например AdsBot-Google , вам могут потребоваться специальные правила (такие как ).
Использование метатега robots
Тег robots ( meta ) позволяет задавать на уровне страницы детальные настройки, которые определяют, как эта страница будет индексироваться и показываться в результатах поиска Google. Добавьте тег robots ( meta ) в раздел на нужной странице:
(…) (…)
Если вы пользуетесь системой управления контентом (например, Wix, WordPress или Blogger), вероятно, у вас нет возможности редактировать код HTML напрямую или вы не хотите этим заниматься. В вашей системе управления контентом, скорее всего, имеется средство для создания метатегов ( meta ) или подобные инструменты.
Если вы хотите добавить тег meta на свой сайт, найдите в системе управления контентом инструкции о том, как изменять раздел на странице (пример запроса: «Wix метатеги» или «wix добавить тег meta «).
В этом примере тег meta с атрибутом robots запрещает поисковым системам показывать страницу в результатах поиска. Заданное для атрибута name значение robots указывает, что правило распространяется на всех поисковых роботов. Атрибуты name и content можно указывать без учета регистра. Если вы хотите закрыть доступ только одному из них, вместо robots укажите в значении атрибута name токен агента пользователя нужного робота. Google поддерживает два токена агента пользователя в теге robots ( meta ), а остальные значения игнорируются:
- googlebot : для всех текстовых результатов.
- googlebot-news : для новостных результатов.
Например, чтобы дать роботам Google явную инструкцию не показывать определенную страницу в результатах поиска, вы можете указать googlebot в качестве названия тега meta :
Если вам нужно, чтобы контент со страницы был представлен в результатах поиска Google, но не в Google Новостях, используйте тег googlebot-news ( meta ):
Если нужно задать неодинаковые настройки для разных поисковых роботов, используйте несколько тегов robots ( meta ):
Чтобы запретить индексирование файлов формата, отличного от HTML, например документов PDF, видео или изображений, используйте заголовок ответа X-Robots-Tag .
Как использовать HTTP-заголовок X-Robots-Tag
Заголовок X-Robots-Tag можно указывать в HTTP-ответе, который отправляется с определенного URL. В заголовках X-Robots-Tag поддерживаются те же правила, что и в метатегах robots . Вот пример HTTP-ответа с заголовком X-Robots-Tag , запрещающим поисковым роботам индексировать страницу:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Вы можете включить в один HTTP-ответ несколько заголовков X-Robots-Tag или перечислить правила через запятую. Вот пример HTTP-ответа, в котором noarchive X-Robots-Tag объединен с unavailable_after X-Robots-Tag :
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
Перед правилами X-Robots-Tag может указывать название агента пользователя. Например, чтобы ваша страница появлялась в результатах поиска лишь некоторых поисковых систем, используйте следующий набор HTTP-заголовков X-Robots-Tag :
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Правила, для которых агент пользователя не указан, будут выполняться всеми поисковыми роботами. HTTP-заголовок, название агента пользователя и другие значения указываются без учета регистра.
Если несколько правил противоречат друг другу, применяется наиболее строгое из них. Например, если одно из них устанавливает значение max-snippet:50 , а другое – nosnippet , будет использован вариант nosnippet .
Поддерживаемые правила индексирования и показа контента
Указанные ниже правила, которые также доступны в машиночитаемом формате, позволяют управлять индексированием страницы и показом ее фрагмента в результатах поиска. Эти правила указываются в метатеге robots и X-Robots-Tag . Каждое значение соответствует отдельному правилу. Правила можно объединять в списках, разделенных запятыми, или в отдельных тегах meta . Регистр символов не учитывается.
Обратите внимание, что роботы других поисковых систем могут обрабатывать эти правила иначе.
all
noindex
Не показывать страницу, медиаконтент или ресурс в результатах поиска. Если не добавить это правило, страница, медиаконтент или ресурс будет проиндексирован и сможет показываться в результатах поиска.
Если вы хотите удалить какую-либо информацию из Google, следуйте этому пошаговому руководству.
nofollow
none
noarchive
nositelinkssearchbox
Не показывать для этой страницы окно поиска по сайту в результатах поиска. Если не добавить это правило, в результатах поиска Google могут появляться окно поиска по вашему сайту и прямые ссылки на разделы этого сайта.
nosnippet
Не показывать в результатах поиска текстовый фрагмент или видео. Статические уменьшенные изображения, если они есть и способны повысить удобство использования, могут по-прежнему появляться. Это условие выполняется для всех типов результатов поиска (веб-поиск Google, Google Картинки, рекомендации). В обзорах, созданных генеративной моделью Google Поиска, также не будет материалов, которые были заблокированы с помощью nosnippet .
Если не добавить это правило, роботы Google могут создать фрагмент текста и видео на основе информации со страницы.
indexifembedded
В отличие от noindex это правило позволяет Google индексировать контент страницы, если он встроен в другую страницу с помощью тега iframes или аналогичного.
indexifembedded действует, только если присутствует правило noindex .
max-snippet: [число]
Ограничение на количество символов в текстовом фрагменте (не более [число]), который показывается в результатах поиска. Обратите внимание, что один и тот же URL может появляться на странице результатов поиска несколько раз. Это правило не распространяется на предварительный просмотр изображений и видео, но действует в отношении всех видов результатов поиска (веб-поиск Google, Google Картинки, рекомендации и данные, предоставляемые Ассистентом). В обзорах, созданных генеративной моделью Google Поиска, также не будет материалов сверх действующего ограничения. Тем не менее ограничение не применяется, если издатель предоставил отдельное разрешение на использование контента, например добавил структурированные данные или заключил лицензионное соглашение с компанией Google. Тогда эта настройка не отменяет подобные дополнительные разрешения. Если в этом правиле использовать некорректное числовое значение, оно будет игнорироваться.
Если вы не добавите правило, Google будет выбирать длину фрагмента самостоятельно.
- 0 – нет фрагмента для показа. Является эквивалентом nosnippet .
- -1 – Google будет самостоятельно выбирать длину фрагмента, которая позволит эффективнее привлекать пользователей на ваш сайт.
Как запретить показ фрагмента в результатах поиска:
Как разрешить показ во фрагменте 20 символов или менее:
Как указать, что ограничений на количество символов при показе во фрагменте нет:
max-image-preview: [setting]
Это правило определяет максимальный размер изображений, которые могут показываться в результатах поиска для этой страницы.
Если не добавить правило max-image-preview , при показе картинки в результатах поиска Google для нее будет выбран размер по умолчанию.
Допустимые значения для элемента [setting]:
- none – нет изображения для предварительного просмотра.
- standard – может быть показано изображение для предварительного просмотра по умолчанию.
- large – может быть показано более крупное изображение, вплоть до максимальной ширины области просмотра.
Это распространяется на все виды результатов поиска (веб-поиск Google, Google Картинки, рекомендации и данные, предоставляемые Ассистентом). Тем не менее ограничение не применяется в тех случаях, когда издатель предоставил отдельное разрешение на использование контента, например добавил структурированные данные или заключил лицензионное соглашение с компанией Google. В частности, структурированные данные могут определять каноническую и AMP-версию статьи.
Если вы не хотите, чтобы ваши канонические страницы и их AMP-версии показывались в Google Поиске и рекомендациях с более крупными изображениями, укажите в правиле max-image-preview значение standard или none .
max-video-preview: [число]
Это правило задает для фрагмента видео со страницы ограничение по длительности в секундах при показе в результатах поиска (не более [число]).
Если не добавить правило max-video-preview , в результатах поиска может показываться фрагмент видео. В этом случае определять возможную продолжительность предварительного просмотра будет Google.
- 0 – может использоваться статическое изображение, но его размер не должен превышать значение, заданное настройкой max-image-preview .
- -1 – ограничения отсутствуют.
Директива распространяется на все виды результатов поиска (веб-поиск Google, Google Картинки, рекомендации, поиск по видео и данные, предоставляемые Ассистентом). Если в этом правиле использовать некорректное числовое значение, оно будет игнорироваться.
notranslate
noimageindex
unavailable_after: [date/time]
Это правило запрещает показывать страницу в результатах поиска после даты и времени, указанных в одном из основных форматов, таких как RFC 822, RFC 850, ISO 8601 и др. Это правило игнорируется, если не указано допустимое значение даты и времени. По умолчанию у контента нет срока действия.
Если не добавить это правило, страница может показываться в результатах поиска неограниченное время. После указанной даты и времени частота сканирования URL роботом Googlebot значительно уменьшится.
Как комбинировать правила индексирования и показа контента
Вы можете создать инструкцию из нескольких правил robots , перечислив их через запятую или объединив в отдельных тегах meta . Ниже приведен пример метатега robots , который запрещает поисковым роботам индексировать страницу и сканировать ссылки на ней.
Список
Несколько тегов meta
В следующем примере фрагмент текста ограничивается 20 символами, но разрешен показ крупных изображений:
Если перечислены различные правила для нескольких поисковых роботов, поисковая система будет суммировать запреты. Пример:
Обнаружив теги meta , робот Googlebot будет действовать так же, как при наличии на странице правила noindex, nofollow .
Как использовать HTML-атрибут data-nosnippet
Фрагменты текста на HTML-странице можно специально пометить, чтобы они не показывались в результатах поиска. Для этого служит атрибут data-nosnippet HTML-элементов span , div и section . Атрибут data-nosnippet является логическим и может указываться без значения. Код должен отвечать стандартам HTML и содержать все необходимые закрывающие теги.
This text can be shown in a snippet and this part would not be shown.