Поисковые боты

Проблемы с установкой или работой phpBB 3.0.х. Решение проблем связанных с модами, стилями, доработками и так далее.
Аватара пользователя
Slash
Администратор
Сообщения: 2028
Поблагодарили: 62 раза

Поисковые боты

Сообщение Slash » Сб авг 25, 2012 4:34 pm

Боты в phpBB — это отдельная группа. Добавив бота, например Yandex, можно им управлять, спрятать инфу от него или наоборот. Что бы добавить бота в группу Боты необходимо ввести имя бота и UserAgent, выбрать язык для бота и выбрать активен бот или нет на странице: Администраторский раздел > Общие > Поисковые боты.
Вот несколько ботов:
  • Yandex [Bot] UserAgent: Yandex
  • Rambler [Bot] UserAgent: Rambler
  • GoGo.Ru [Bot] UserAgent: Mail.Ru
  • Сuill [Bot] UserAgent: Twiceler-0.9
  • Aport [Bot] UserAgent: Aport
  • Twiceler [bot] UserAgent: twiceler
  • WebAlta [bot] UserAgent: WebAlta Crawler
Реклама
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Ср июл 31, 2013 11:07 pm

А всех из перечисленных вами ботов добавлять?
Аватара пользователя
Slash
Администратор
Сообщения: 2028
Поблагодарили: 62 раза

Re: Поисковые боты

Сообщение Slash » Чт авг 01, 2013 8:36 am

Alex31 писал(а):А всех из перечисленных вами ботов добавлять?

Это дело ваше... Себе я их всех зарегистрировал.
torg
Сообщения: 95

Re: Поисковые боты

Сообщение torg » Пт авг 02, 2013 7:35 pm

Нужно учесть, что регистрация большего кол-ва ботов будет увеличивать нагрузку на сервер.
Алексей, намного ли будет прибавка нагрузки? У вас было заметно?
Аватара пользователя
Slash
Администратор
Сообщения: 2028
Поблагодарили: 62 раза

Re: Поисковые боты

Сообщение Slash » Пт авг 02, 2013 7:48 pm

torg писал(а):Алексей, намного ли будет прибавка нагрузки? У вас было заметно?

Не замечал рост нагрузки от зарегистрированных ботов.
torg
Сообщения: 95

Re: Поисковые боты

Сообщение torg » Пт авг 02, 2013 7:53 pm

Это видимо пока мало ботов. Если форум будет очень посещаемым ?
Лучше уж юзеры пусть отображаются :) чем боты.
Так как строка юзеров так наполнится что будет занимать много места.
Для этого нужен хорошо посещаемый форум.
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Сб авг 03, 2013 2:50 pm

Я наблюдаю за Яндекс ботом, он в основном сидит или на главной или в списке пользователей.
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Ср авг 07, 2013 7:39 pm

Уже около недели яндекс сидит только на главной страницы или списке пользователей. В чем проблема?
Аватара пользователя
Slash
Администратор
Сообщения: 2028
Поблагодарили: 62 раза

Re: Поисковые боты

Сообщение Slash » Ср авг 07, 2013 7:46 pm

На сколько я помню ты закрыл доступ для просмотра гостям, а ботам просматривать можно?
Аватара пользователя
Змейка
Супермодератор
Сообщения: 37

Re: Поисковые боты

Сообщение Змейка » Ср авг 07, 2013 7:51 pm

Alex31 писал(а):В чем проблема?

У Яндекса и спроси.
Кривые настройки прав доступа, скорее всего.

Обычно пробел ставят после знака препинания, а не до него.
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Ср авг 07, 2013 9:39 pm

Алексей писал(а):На сколько я помню ты закрыл доступ для просмотра гостям, а ботам просматривать моно?

Форум не весь закрыт для гостей. Для ботов форум открыт весь. Так гугл индексирует нормально.

Добавлено спустя 8 минут 43 секунды:
Змейка писал(а):Кривые настройки прав доступа, скорее всего.

Сейчас проверил доступ, форумные права, везде стоят доступ для ботов.
Аватара пользователя
Slash
Администратор
Сообщения: 2028
Поблагодарили: 62 раза

Re: Поисковые боты

Сообщение Slash » Чт авг 08, 2013 7:05 am

Alex31 писал(а):Так гугл индексирует нормально.

А Янднкс тебе чем не угодил? Если ты его видишь только на главной - это не значит, что он ненормально индексирует. Смотри в Яндекс Вебмастере.
Alex31 писал(а):везде стоят доступ для ботов

Так и саму роль Доступ для ботов, можно настроить, так что им нечего будет индексировать.
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Чт авг 08, 2013 12:15 pm

Алексей писал(а):А Янднкс тебе чем не угодил? Если ты его видишь только на главной - это не значит, что он ненормально индексирует. Смотри в Яндекс Вебмастере.
Ну дело даже не в том что яндекс сидит на главной, дело в том что страницы не все в яндексе,а на гугле они есть давно.Конечно смотрел в Вебмастере, нет там много страниц форума.
Так и саму роль Доступ для ботов, можно настроить, так что им нечего будет индексировать.

Доступ ботов не настраивал. Повторяю, причем здесь доступ для ботов, гугл же индексирует.
Alex31
Сообщения: 62

Re: Поисковые боты

Сообщение Alex31 » Чт авг 08, 2013 4:53 pm

Посмотрел в вебмастере, яндекс исключил 9 страниц из поиска

Код: Выделить всё

<meta name="distribution" content="global" />
<meta name="keywords" content="" />
<meta name="description" content="" />
<meta name="robots" content="noindex" />

На форуме в коде, я не найду в темах этого кода:

Код: Выделить всё

<meta name="robots" content="noindex" />
Аватара пользователя
Змейка
Супермодератор
Сообщения: 37

Re: Поисковые боты

Сообщение Змейка » Чт авг 08, 2013 6:03 pm

Alex31, вы ходя бы элементарно пробелы после знаков препинания ставьте. Это сложно?
Alex31 писал(а):Посмотрел в вебмастере, яндекс исключил 9 страниц из поиска

И что?
Alex31 писал(а):На форуме в коде, я не найду в темах этого кода

Вопрос в чем?

Вернуться в «phpBB»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость