Создать информативную, полезную для посетителя и легко читаемую статью, которая при этом будет высоко оцениваться поисковиками, достаточно сложно и трудозатратно, поэтому некоторые вебмастера скрывают подлинные страницы от поисковых роботов, предъявляя последним оптимизированный, но малосодержательный текст. Выявление ботов может быть реализовано тремя основными способами:
- По user-agent. Основан на проверке уникального идентификатора приложения, которое отправляется при запросе к сайту. Специальный скрипт сравнивает user-agent со значениями, занесенными в предварительно собранную базу данных и если обнаруживается совпадение, осуществляет редирект на подложную страницу;
- По IP-адресу. Наиболее надежный метод, фильтрующий запросы, источником которых становятся серверы, расположенные в корпоративных сетях поисковых систем. Таким образом, поддельные страницы предъявляются не только ботам, но и сотрудникам Яндекс и Гугл в ходе ручной проверки. Впрочем, даже такой метод не может защитить от асессоров, которыми являются простые пользователи Интернет, выполняющие задания поисковиков;
- Комбинированный метод. Проверяются и IP-адрес, и user-agent, что позволяет добиться максимальной надежности.
