Индексация

Поисковые роботы способны проиндексировать отнюдь не каждую площадку. Они умеют обрабатывать HTML-документы и PHP-скрипты, однако “не видят” Flash и JavaScript. Если проект написан на AJAX, то необходимо создать также и HTML-версию всех страниц, которые должны появиться в поисковой выдаче.

Возможность индексации зависит и от используемого протокола. Например, Яндекс долгое время игнорировал изображения, размещенные под HTTPS и вебмастерам приходилось дополнительно размещать их копии. Актуальные сведения о поддерживаемых технологиях и форматах веб-документов, которые могут быть проиндексированы, представлены в официальных базах знаний поисковых систем.

Способы ограничения индексации

1. Добавление в robots.txt директивы Disallow. Конструкция “Disallow: \” позволяет скрыть сайт от поисковых роботов целиком, а с помощью “Disallow: \относительная_ссылка” можно закрыть отдельный документ;
2. Размещение в теле страницы конструкции <meta name="robots" content="noindex, nofollow"> дает возможность избирательно блокировать индексацию конкретного веб-документа. При включении данного метатега в тело homepage также можно запретить индексировать и весь сайт при условии отсутствия внешних ссылок, проставленных на его внутренние страницы;
3. Постоянное перенаправление на другую площадку/страницу через 301-й редирект;
4. Доступ по паролю. Реализуется через файл .htpasswd, средствами CMS или через панель управления хостингом.