Иногда веб-мастеру необходимо запретить индексацию страницы целиком или ее части. Например, Вы не хотите чтобы на вашем сайте индексировалась реклама, блок ссылок или страницы с результатами поиска. В данной статье я постарался собрать все методы влияющие на индексацию в поисковых системах Яндекс и Google.

Контроль индексации в Яндекс

  • Файл robots.txt:
    С помощью данного файла администратор может ограничить доступ роботов поисковых систем как к части сайта так и к отдельным страницам.
    Пример 1:
    User-agent: * Disallow: /basket.php В этом примере мы запретили, роботам обращение к скрипту корзины Интернет-магазина. * - обозначает что данное правило применимо ко всем роботам.
    Яндекс поддерживает диррективу Host в файлах robots.txt, это позволяет указать поисковику главное зеркало сайта, которое и будет отображаться в результатах поиска.

    Пример 2:
    User-agent: Yandex Disallow: /forum Host: www.site.ru
    либо

    User-agent: Yandex Disallow: /forum Host: site.ru В первом случае мы указали главным домен www.site.ru, во втором site.ru. Если у вас веб сервер Apache, то можно вместо использования директивы Host задать robots.txt с использованием директив SSI:

    User-Agent: * Disallow: / В этом файле роботу запрещен обход всех хостов, кроме www.главное_имя.ru.
  • Тег <noindex>:
    Хотя тег noindex официально и не признан w3c консорциумом, его отлично понимает Яндекс. Для запрета индексации куска текста или html кода заключите его между открывающим и закрывающим тегами noindex. Пример: <noindex>Этот текст не индексирует Яндекс!</noindex>.

    PS: Если Вы сторонник валидации кода и используете стандарт XHTML, то можно написать модуль расширения XHMTL, включающив в него тег noindex.

Контроль индексации в Google

  • Файл robots.txt:
    У Google дела с файлами robots.txt обстоят аналогично, за исключением поддержки диррективы Host.
  • <a rel=nofollow:
    Используя атрибут rel="nofollow", мы запрещаем поисковику переход по ссылке.
    PS: Также поддерживается MSN и Yahoo.
  • Теги googleoff/googleon для контроля индексирования частей страниц:
    С помощью тегов googleoff/googleon мы можем запретить роботу индексировать часть страницы или блок ссылок. Существует 4 вида тегов. Я рассмотрю их на конкретных примерах, чтобы Вам было ясно о чем идет речь.

    Пример 1:
    аквариумные <!--googleoff: index-->рыбки<!--googleon: index--> неплохо размножаются В результате слова «аквариумные» и «нелохо размножаются» проиндексируются, а вот слово «рыбки» нет.

    Пример 2:
    <!--googleoff: anchor--><a href="razdaem-slonov.html">раздаем слонов</a><!--googleon: anchor--> В этом примере у нас не проиндексируется текст ссылки, следовательно, при поиске по словосочетанию «раздаем слонов» документ razdaem-slonov.html не появится в результатах поисковой выдачи.

    Пример 3:
    <!--googleoff: snippet-->Меня не видно!<!--googleon: snippet--> Текст расположенный между открывающим и закрывающим тегами с атрибутом snippet не будет отображаться в результатах выдачи, но будет проиндексирован.

    Пример 4:
    <!--googleoff: all-->Меня не видно!<!--googleon: all--> Последний пример - это комбинация трех предыдущих.

    PS: Как выяснилось теги googleoff/googleon работают только для Google Search Appliance и Google Mini, но не для обычного поиска Google.
  • Теги <!-- google_ad_section_start-->, <!-- google_ad_section_end-->:
    Данные теги пригодятся для веб-мастеров размещающих на своих сайтах рекламу Google Adsense. Они сообщат боту Adsense какой контент является более релевантным на странице.

Возможно я что-то пропустил в своем обзоре. Если у Вас есть дополнения или замечания, пишите комментарии и я дополню данную статью.