Как вычислить плохих ботов

Если Вы не нашли подходящего раздела, для вопроса связанного с web строительством, то Вам сюда.
Аватара пользователя
Jerom
Сообщения: 141
Зарегистрирован: Вт фев 25, 2014 11:42 pm

Как вычислить плохих ботов

#1

Сообщение Jerom » Пт апр 25, 2014 9:50 am

На вашем сайте могут лазить роботы, которые будут спамить, сканировать или даже воровать контент. Конечно, наличие таких ботов никому не понравится. Но помимо них есть ещё и хорошие боты, пришедшие из поисковых систем, которых обижать нельзя, поэтому важно их отличать, чтобы блокировать одних и давать работать другим.

Нам поможет в этом закрытие директории через robots.txt. Нужно сделать невидимую ссылку и картинку размером 1 на 1 пиксель. Всё это поместите на какую-либо страницу. Это поможет вам отсеивать плохих ботов. Все мы знаем, как боты любят спамить и заполнять формы. Этим можно воспользоваться, создав форму-ловушку, регистрация по которой будет вести прямиком в бан. Сверх нужно повесить баннер, оповещающий о том, что данная форма является ловушкой для ботов, тогда человек не будет в ней регистрироваться, а хорошие боты любые формы обходят стороной.

Плохого бота можно поймать, используя кукисы, расположив их в директории, запрещенной для ботов. На их основе можно сделать специальный сайт, который будет служить ловушкой с бесконечной структурой. Боты будут по десяткам раз пытаться заходить на сайт, так их можно вычислять и банить. Можно поставить в запрещённую директорию редирект или ссылку на javascript, так как хорошие боты их трогать не будут. Но это значит, что вы столкнулись с очень умным ботов, который может обходить некоторые преграды.

Реклама

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 0 гостей