nginx access.log analyzer · v3 · май 2026

Кто из ИИ читает ваш сайт

Парсер логов с потоковой обработкой (любой размер файла), редактируемым словарём ботов и разделением на четыре уровня: пользователь попросил → поиск индексирует → тренировка модели → клик из чата.

⚙ Словарь ботов · 0 правил регулярные выражения, цвета, категории · сохраняется в браузере
Каждая строка — одно правило: для категорий USER/SEARCH/TRAINING регулярка проверяется по User-Agent; для REFERER — по полю Referer (живые клики из чатов). Правила обходятся сверху вниз, первое совпадение выигрывает.
access.log формат combined: paste или файл .log/.txt — стримится без ограничения по размеру
парсинг… 0 / 0

Активность по дням

Разбивка по ботам

Бот / источник Категория Хитов Дней Последний раз

Какие URL читали ИИ

пресеты:
URL:
исключить:
категории:
боты:
хитов ≥ ботов ≥ период: — сорт: группа:
URL Хиты Боты Люди Кто заходил Период

Как читать категории

USER Реальный человек прямо сейчас попросил ИИ зайти на эту страницу. Самый ценный сигнал — это потенциальный лид, ждущий ответ ассистента. UA: ChatGPT-User (включая /2.0 и /3.0), Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot.
SEARCH Поисковый краулер строит индекс для AI-поиска (чтобы вас цитировали). Заблокировать = выпасть из ChatGPT Search и аналогов. UA: OAI-SearchBot, Claude-SearchBot (новый, февраль 2026), PerplexityBot, MistralAI-Index, Applebot.
TRAINING Краулер собирает корпус для обучения. На трафик и цитируемость не влияет, но ваш контент пойдёт в датасет. UA: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot, Bytespider.
REFERER Человек кликнул по ссылке из интерфейса чата (UA — обычный браузер, источник в Referer). У ChatGPT часто теряется из-за Referrer-Policy: no-referrer — реальные клики оттуда сильно занижены, ориентируйтесь на USER-сигнал.

Апдейт декабрь 2025 — февраль 2026. OpenAI и Anthropic формализовали трёхтиповую модель: каждый вендор имеет отдельный UA для (1) обучения, (2) индекса AI-поиска, (3) on-demand запросов от пользователя. Anthropic добавил Claude-User и Claude-SearchBot, задепрекейтив anthropic-ai и Claude-Web (в старых логах ещё попадаются — словарь учитывает оба варианта).