Парсер логов с потоковой обработкой (любой размер файла), редактируемым словарём ботов и разделением на четыре уровня: пользователь попросил → поиск индексирует → тренировка модели → клик из чата.
| Бот / источник | Категория | Хитов | Дней | Последний раз |
|---|
| URL | Хиты | Боты | Люди | Кто заходил | Период |
|---|
ChatGPT-User (включая /2.0 и /3.0), Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot.
OAI-SearchBot, Claude-SearchBot (новый, февраль 2026), PerplexityBot, MistralAI-Index, Applebot.
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot, Bytespider.
Referrer-Policy: no-referrer — реальные клики оттуда сильно занижены, ориентируйтесь на USER-сигнал.
Апдейт декабрь 2025 — февраль 2026. OpenAI и Anthropic формализовали трёхтиповую модель: каждый вендор имеет отдельный UA для (1) обучения, (2) индекса AI-поиска, (3) on-demand запросов от пользователя. Anthropic добавил Claude-User и Claude-SearchBot, задепрекейтив anthropic-ai и Claude-Web (в старых логах ещё попадаются — словарь учитывает оба варианта).