Admin » 2007-10-23 09:23:14

Для того, чтобы начался сбор информации по ботам, необходимо разместить дополнительно еще один код из раздела "Код счетчика".

При выполении этого кода на странице ничего отображаться не будет, т.е. его можно разместить в любое место вашего дизайн-шаблона.
Важно, чтобы он выполнялся на всех страницах, контроль за которыми необходим.

Spooler » 2007-10-23 09:52:08

Большое спасибо за данный отчет!

Всё больше и больше нравится InetLog.

Не перестаю удивляться вашему энтузиазму и скорости работы счетчика!

Спасибо!

Admin » 2007-10-23 10:33:39

Всегда пожалуйста :)

BMG » 2007-10-24 13:50:56

Отчет отличный. Только, мне кажется, к нему не хватает фильтра по url, да и наверное не только этому отчету...

Admin » 2007-10-24 14:59:59

BMG написал:

Отчет отличный. Только, мне кажется, к нему не хватает фильтра по url, да и наверное не только этому отчету...

Просто мысли читаете.
Спасибо, конечно реализуем.

Wx1000 » 2007-10-27 13:11:22

Отличный отчёт, теперь можно не вести свои логи:)
Как я понял, отчёт не отображает яндекс директа бота.
Фиксируются только основные боты?

Admin » 2007-10-27 17:00:11

Система фиксирует всех ботов Яндекса, в том числе и Яндекс.Директ

Wx1000 » 2007-10-27 18:39:06

Ну тогда, она не зафиксировала бота YaDirectBot/1.0, который за данные сутки просмотрел страниц 20-30, могу предоставить лог, какие страницы, когда смотрел этот бот.

Admin » 2007-10-27 20:41:49

YaDirectBot/1.0 не фиксируется.
На текущий момент система фиксирует простукивалку Директа:
Yandex/2.01.000 (compatible; Win16; Dyatel; D)

Если необходимо, добавим и YaDirectBot/1.0

Wx1000 » 2007-10-27 20:53:16

Спасибо за разъяснения.
Ну думаю нестоит его добавлять, ибо он на сайты с директом каждый день ходит, и все страницы кушает.

Lord Daedra » 2007-10-28 02:55:47

Выложите плиз список формата
имя бота - User Agent
который используется...

Мне это очень поможет... Просмотр форума я разрешил только ботам и зарегистрированным пользователям...

Но чувствую, многих ботов я тем самым забанил, так как их список какой-то подозрительно небольшой...

Admin » 2007-10-28 11:02:48

Боты Яндекса:

Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;

Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;

Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;

Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon);

Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке “Найденные слова”;

Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму “Добавить URL”;

YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам;

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких дней, сайт снимается с публикации в каталоге до тех пор, пока снова не начинает отвечать на запросы;

Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Проверяет корректность ссылок из объявлений перед модерацией;

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.

xomens » 2007-10-31 15:14:16

отчета по ботам для сайтов построенных только на html не прдвидется?

Admin » 2007-10-31 15:31:21

xomens
Как вы себе это представляете? ;) На чем должен быть написан скрипт, чтобы учитывать обращения ботов?
Голый html не умеет фиксировать поисковых роботов.

xomens » 2007-10-31 16:06:55

JavaScript не умеет?

у меня просто сайт на народе а там кроме javascript ничего нет

Lord Daedra » 2007-10-31 16:33:02

Спасибо, Admin.

К сожалению, есть такая проблема: отчёт пустой.

Я добавил php-код в шаблон и разрешил php в темах. После этого должно всё работать, но я вижу пустой отчёт. Тем не менее, Яша форум индексирует, я могу просмотреть дату его последнего захода на форум...

Admin » 2007-10-31 17:51:24

xomens
JavaScript не умеет.

Lord Daedra

Я добавил php-код в шаблон и разрешил php в темах. После этого должно всё работать, но я вижу пустой отчёт.

Посмотрите внимательно, все ли вы сделали правильно. Не использовали ли вы случайно код для другого вашего сайта. Если код стоит на сайте и выполняется, статистика по ботам собирается постоянно.

Lord Daedra » 2007-11-02 03:44:28

Посмотрите внимательно, все ли вы сделали правильно. Не использовали ли вы случайно код для другого вашего сайта. Если код стоит на сайте и выполняется, статистика по ботам собирается постоянно.

Я проверил, всё правильно вроде. Код тот.

В хтмл коде я не вижу <?php ... значит он исполняется.

Убрал собачку, ошибок не возникло...

Возможно, что-то не нравится.

В запрещёных функциях fsockopen fputs fclose тож нет

Win2k3, php 5.2.4 как ISAPI для IIS6.

Admin » 2007-11-02 12:37:35

Lord Daedra
попробуйте проделать то же самое, что я советовал здесь:
http://inetlog.ru/forum/viewtopic.php?id=125

Admin » 2007-11-06 14:31:21

По просьбам пользователей включено фиксирование YaDirectBot.

klopp » 2007-12-10 01:13:34

Admin написал:

Голый html не умеет фиксировать поисковых роботов.

Можно и JavaScript задействовать. Вариант 1:

Код:

document.write( '<img alt="" style="display:none" width="0" height="0" src="http://inetlog.ru//counter/robots.php?sid=5495&amp;pg=' + ...

Вариант 2 - через XHTTPRequest.

Admin » 2007-12-10 11:10:54

klopp
Поисковые роботы не выполняют JavaScript

klopp » 2007-12-11 03:19:43

Admin написал:

Поисковые роботы не выполняют JavaScript

Да, что-то ступил :) У себя сделал так: не скрипт делает запрос, а генерится картинка с нужной query string. Посмотреть можно в исходниках страниц http://petdoctor.ru/, например, внизу. Так будет работать?

Admin » 2007-12-11 10:10:35

klopp
Поисковые боты не загружают картинки :)

klopp » 2007-12-11 20:25:14

Admin написал:

Поисковые боты не загружают картинки

Тогда я совсем ничего не понимаю. Можно подробней - что вообще делает этот запрос? Зачем его нужно выполнять с каждой страницы?

Admin » 2008-01-07 23:08:22

klopp написал:

Тогда я совсем ничего не понимаю. Можно подробней - что вообще делает этот запрос? Зачем его нужно выполнять с каждой страницы?

Он делает то же самое, что и обычный счетчик, только для роботов, которые не выполняют JavaScript.

groove » 2008-01-10 09:41:52

Как производится оплата за сервис сбора статистики по ботам, если снять основной счетчик, заненив его на лайвинтернет тот же, но оставив сбор ботов.
Получается будет бесплатно и дальше?
А ведь жрет ресурсов этот отчет огого. Логика где?

Admin » 2008-01-10 10:27:32

groove

Вполне логично, что если основной счетчик будет отсутствовать на сайте, а счетчик ботов в наличии, расчет тарифа будет вестись по количеству хитов, сделанному ботами.

groove » 2008-01-12 13:17:33

а в случае, если основной счетчик оплачен и работает, то хиты считаются по нему?
Я про то, что боты могут по 500-1000 хитов в сутки делать (((

Admin » 2008-01-12 21:25:07

groove
Не беспокойтесь, если основной счетчик оплачен и работает, то хиты считаются только по нему.

OperatoR » 2008-11-19 00:03:38

Доброго времени суток! Меня мучат такой вопрос: вот смотрю статистику в разделе "Куда идут поисковые боты". Единственная колонка выделена красным цветом - Яндех. Это о чем нибудь говорит? Ну типа что бот не индексирует страницы, или это просто таким цветом эту колонку отделили от остальных?
Благодарю за внимание!

Admin » 2008-11-19 10:15:15

OperatoR
Если колонка Яндекса выделена красным и в ней отсутствуют даты последнего обращения ботов, то действительно, боты Яндекса не индексировали страницы, указанные в таблице.