• Вы не зашли.

#1 2007-10-23 09:23:14

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Поисковые боты

Для того, чтобы начался сбор информации по ботам, необходимо разместить дополнительно еще один код из раздела "Код счетчика".

При выполении этого кода на странице ничего отображаться не будет, т.е. его можно разместить в любое место вашего дизайн-шаблона.
Важно, чтобы он выполнялся на всех страницах, контроль за которыми необходим.

Неактивен

 

#2 2007-10-23 09:52:08

Spooler
Начинающий
Откуда: Москва
Зарегистрирован: 2007-09-07
Сообщ.: 26
Профиль  http://www.bulochka.ru - Вебсайт

Re: Поисковые боты

Большое спасибо за данный отчет!

Всё больше и больше нравится InetLog.

Не перестаю удивляться вашему энтузиазму и скорости работы счетчика!

Спасибо!

Неактивен

 

#3 2007-10-23 10:33:39

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

Всегда пожалуйста smile

Неактивен

 

#4 2007-10-24 13:50:56

BMG
Новичок
Зарегистрирован: 2007-10-24
Сообщ.: 7
Профиль

Re: Поисковые боты

Отчет отличный. Только, мне кажется, к нему не хватает фильтра по url, да и наверное не только этому отчету...

Отредактированно BMG (2007-10-24 13:51:17)

Неактивен

 

#5 2007-10-24 14:59:59

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

BMG написал:

Отчет отличный. Только, мне кажется, к нему не хватает фильтра по url, да и наверное не только этому отчету...

Просто мысли читаете.
Спасибо, конечно реализуем.

Неактивен

 

#6 2007-10-27 13:11:22

Wx1000
Новичок
Откуда: Волжский
Зарегистрирован: 2007-09-05
Сообщ.: 7
Профиль  http://volzskij.wx1.ru/ - Вебсайт

Re: Поисковые боты

Отличный отчёт, теперь можно не вести свои логи:)
Как я понял, отчёт не отображает яндекс директа бота.
Фиксируются только основные боты?


http://volzskij.wx1.ru/ - фотографии Волжского

Неактивен

 

#7 2007-10-27 17:00:11

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

Система фиксирует всех ботов Яндекса, в том числе и Яндекс.Директ

Неактивен

 

#8 2007-10-27 18:39:06

Wx1000
Новичок
Откуда: Волжский
Зарегистрирован: 2007-09-05
Сообщ.: 7
Профиль  http://volzskij.wx1.ru/ - Вебсайт

Re: Поисковые боты

Ну тогда, она не зафиксировала бота YaDirectBot/1.0, который за данные сутки просмотрел страниц 20-30, могу предоставить лог, какие страницы, когда смотрел этот бот.


http://volzskij.wx1.ru/ - фотографии Волжского

Неактивен

 

#9 2007-10-27 20:41:49

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

YaDirectBot/1.0 не фиксируется.
На текущий момент система фиксирует простукивалку Директа:
Yandex/2.01.000 (compatible; Win16; Dyatel; D)

Если необходимо, добавим и YaDirectBot/1.0

Неактивен

 

#10 2007-10-27 20:53:16

Wx1000
Новичок
Откуда: Волжский
Зарегистрирован: 2007-09-05
Сообщ.: 7
Профиль  http://volzskij.wx1.ru/ - Вебсайт

Re: Поисковые боты

Спасибо за разъяснения.
Ну думаю нестоит его добавлять, ибо он на сайты с директом каждый день ходит, и все страницы кушает.


http://volzskij.wx1.ru/ - фотографии Волжского

Неактивен

 

#11 2007-10-28 02:55:47

Lord Daedra
Новичок
Зарегистрирован: 2007-10-28
Сообщ.: 5
Профиль

Re: Поисковые боты

Выложите плиз список формата
имя бота - User Agent
который используется...

Мне это очень поможет... Просмотр форума я разрешил только ботам и зарегистрированным пользователям...

Но чувствую, многих ботов я тем самым забанил, так как их список какой-то подозрительно небольшой...

Неактивен

 

#12 2007-10-28 11:02:48

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

Боты Яндекса:

Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;

Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;

Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;

Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon);

Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке “Найденные слова”;

Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму “Добавить URL”;

YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам;

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких дней, сайт снимается с публикации в каталоге до тех пор, пока снова не начинает отвечать на запросы;

Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Проверяет корректность ссылок из объявлений перед модерацией;

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.

Неактивен

 

#13 2007-10-31 15:14:16

xomens
Новичок
Зарегистрирован: 2007-10-31
Сообщ.: 4
Профиль

Re: Поисковые боты

отчета по ботам для сайтов построенных только на html не прдвидется?

Неактивен

 

#14 2007-10-31 15:31:21

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

xomens
Как вы себе это представляете? wink На чем должен быть написан скрипт, чтобы учитывать обращения ботов?
Голый html не умеет фиксировать поисковых роботов.

Неактивен

 

#15 2007-10-31 16:06:55

xomens
Новичок
Зарегистрирован: 2007-10-31
Сообщ.: 4
Профиль

Re: Поисковые боты

JavaScript не умеет?

у меня просто сайт на народе а там кроме javascript ничего нет

Отредактированно xomens (2007-10-31 16:07:41)

Неактивен

 

#16 2007-10-31 16:33:02

Lord Daedra
Новичок
Зарегистрирован: 2007-10-28
Сообщ.: 5
Профиль

Re: Поисковые боты

Спасибо, Admin.

К сожалению, есть такая проблема: отчёт пустой.

Я добавил php-код в шаблон и разрешил php в темах. После этого должно всё работать, но я вижу пустой отчёт. Тем не менее, Яша форум индексирует, я могу просмотреть дату его последнего захода на форум...

Отредактированно Lord Daedra (2007-10-31 16:34:12)

Неактивен

 

#17 2007-10-31 17:51:24

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

xomens
JavaScript не умеет.

Lord Daedra

Я добавил php-код в шаблон и разрешил php в темах. После этого должно всё работать, но я вижу пустой отчёт.

Посмотрите внимательно, все ли вы сделали правильно. Не использовали ли вы случайно код для другого вашего сайта. Если код стоит на сайте и выполняется, статистика по ботам собирается постоянно.

Неактивен

 

#18 2007-11-02 03:44:28

Lord Daedra
Новичок
Зарегистрирован: 2007-10-28
Сообщ.: 5
Профиль

Re: Поисковые боты

Посмотрите внимательно, все ли вы сделали правильно. Не использовали ли вы случайно код для другого вашего сайта. Если код стоит на сайте и выполняется, статистика по ботам собирается постоянно.

Я проверил, всё правильно вроде. Код тот.

В хтмл коде я не вижу <?php ... значит он исполняется.

Убрал собачку, ошибок не возникло...

Возможно, что-то не нравится.

В запрещёных функциях fsockopen fputs fclose тож нет

Win2k3, php 5.2.4 как ISAPI для IIS6.

Неактивен

 

#19 2007-11-02 12:37:35

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

Lord Daedra
попробуйте проделать то же самое, что я советовал здесь:
http://inetlog.ru/forum/viewtopic.php?id=125

Неактивен

 

#20 2007-11-06 14:31:21

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

По просьбам пользователей включено фиксирование YaDirectBot.

Неактивен

 

#21 2007-12-10 01:13:34

klopp
Новичок
Зарегистрирован: 2007-12-10
Сообщ.: 4
Профиль  http://paintballers.ru/ - Вебсайт

Re: Поисковые боты

Admin написал:

Голый html не умеет фиксировать поисковых роботов.

Можно и JavaScript задействовать. Вариант 1:

Код:

document.write( '<img alt="" style="display:none" width="0" height="0" src="http://inetlog.ru//counter/robots.php?sid=5495&amp;pg=' + ...

Вариант 2 - через XHTTPRequest.

Неактивен

 

#22 2007-12-10 11:10:54

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

klopp
Поисковые роботы не выполняют JavaScript

Неактивен

 

#23 2007-12-11 03:19:43

klopp
Новичок
Зарегистрирован: 2007-12-10
Сообщ.: 4
Профиль  http://paintballers.ru/ - Вебсайт

Re: Поисковые боты

Admin написал:

Поисковые роботы не выполняют JavaScript

Да, что-то ступил smile У себя сделал так: не скрипт делает запрос, а генерится картинка с нужной query string. Посмотреть можно в исходниках страниц http://petdoctor.ru/, например, внизу. Так будет работать?

Неактивен

 

#24 2007-12-11 10:10:35

Admin
Администратор
Зарегистрирован: 2007-08-21
Сообщ.: 495
Профиль

Re: Поисковые боты

klopp
Поисковые боты не загружают картинки smile

Неактивен

 

#25 2007-12-11 20:25:14

klopp
Новичок
Зарегистрирован: 2007-12-10
Сообщ.: 4
Профиль  http://paintballers.ru/ - Вебсайт

Re: Поисковые боты

Admin написал:

Поисковые боты не загружают картинки

Тогда я совсем ничего не понимаю. Можно подробней - что вообще делает этот запрос? Зачем его нужно выполнять с каждой страницы?

Неактивен

 

Board footer

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Модифицирован PunBB.ru