Web Check · возможность

Видимость в нейросетях (видят ли AI-краулеры вашу страницу)

Видимость в нейросетях сводится к практическому вопросу: может ли AI-краулер прочитать вашу страницу? Web Check отвечает за секунды. Вы вводите адрес страницы на /ai-lite и получаете оценку от 0 до 100, цветовую группу (красная, жёлтая или зелёная) и пять сигналов «светофором». Проверка рассчитана на владельцев сайтов, SEO-специалистов и разработчиков, которым нужно увидеть страницу глазами AI-краулера.

Видимость в нейросетях: оценка 0–100 и пять сигналов светофором для AI-краулеров

Что такое видимость в нейросетях для владельца сайта

AI-краулеры, кроме Google, не выполняют JavaScript. Они читают только сырой HTML, который отдаёт ваш сервер. Если текст страницы дорисовывают скрипты уже после загрузки, такой краулер получает пустой каркас, цитировать ему нечего. На этом принципе построена проверка: js-render считает слова именно в сыром HTML.

Слабая видимость в нейросетях обычно складывается из короткого списка причин: правила robots.txt закрывают страницу для именованных AI-ботов, в сыром HTML мало текста, нет файла llms.txt, нет структурированных данных. Web Check превращает каждую причину в отдельный сигнал, и вы сразу видите, что чинить первым, а не одну размытую цифру.

Пять сигналов, из которых складывается оценка

AI crawlers. Правила robots.txt для 17 именованных ботов: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, PerplexityBot, Google-Extended, CCBot, Bytespider, Applebot-Extended, Amazonbot, Diffbot, FacebookBot, ImagesiftBot, Omgilibot, YouBot. Результат — сколько из 17 разрешено.
Content for AI. Сколько слов видно в сыром HTML без запуска скриптов. Меньше 300 — провал, от 300 до 600 — предупреждение, от 600 — норма.
llms.txt. Файла нет, он базовый или полный. Web Check ищет и llms-full.txt.
Structured data. Разметка Schema на странице: нет, поверхностная или насыщенная.
GEO-readiness. Шкала из девяти сигналов: разметка FAQPage или QAPage, BreadcrumbList, datePublished, dateModified, автор, sameAs и другие. В отчёте — «N из 9» и список того, чего не хватает.

Как проходит проверка шаг за шагом

Вы вводите адрес страницы на /ai-lite или вызываете GET /api/ai-lite с параметром url.
Web Check читает сырой HTML страницы, а также robots.txt, llms.txt и llms-full.txt.
Каждый из пяти сигналов получает статус «светофором» и свой результат: сколько ботов разрешено, сколько слов, какой уровень llms.txt, какая разметка, сколько баллов GEO.
Отчёт показывает общую оценку от 0 до 100 и цветовую группу.
По каждому непройденному сигналу страница предлагает «быстрое решение»: готовый шаблон llms.txt или блок FAQ с кнопкой «скопировать».

Что вы получаете в отчёте

Оценку от 0 до 100 и красную, жёлтую или зелёную группу.
Пять сигналов с конкретными числами, а не вердикт без объяснений.
Быстрое решение для каждого непройденного сигнала — его можно вставлять на сайт.
Те же данные в JSON, если вы обращаетесь к API, а не открываете страницу.

Полный аудит добавляет смежные проверки: ai-access (по каждому боту и заголовок x-robots-tag), llms-txt и llms-validate (ссылки из llms.txt), schema-org (типы JSON-LD на странице) и geo-readiness. Поднимать видимость в нейросетях после этого можно по пунктам: закрывать замечания из списка одно за другим.

Где это пригождается

Сайт на JavaScript-фреймворке. Вы видите, сколько слов остаётся без скриптов и в какую полосу попадает страница: провал, предупреждение или норма.
Сайт с отредактированным вручную robots.txt. Сразу видно, какие из 17 именованных AI-ботов разрешены, а какие нет.
Только что добавленный llms.txt. Вы проверяете, что файл найден, а ссылки внутри него разбирает llms-validate.

Проверка занимает секунды, поэтому её удобно повторять после каждой правки и следить, как меняется видимость в нейросетях.

Как запустить и какие есть ограничения

Откройте https://webcheck.asibots.pro/ai-lite или вызовите API:

GET https://webcheck.asibots.pro/api/ai-lite?url=PAGE_URL

Ответ — JSON с пятью сигналами и оценкой. Что важно знать:

Если страница отдаёт заглушку защиты (например, DDoS-Guard) или почти пустой JavaScript-каркас, Web Check не выдумывает оценку. Блоки помечаются «недостоверно» с указанием причины.
API принимает 2 запроса в секунду. При превышении приходит ответ 429 с понятным текстом.
Адреса во внутренней сети отклоняются ответом 400.
Видимость в нейросетях в отчёте описывает саму страницу: её правила, сырой HTML, файлы и разметку.

Частые вопросы

Почему проверка считает слова в сыром HTML, а не на отрисованной странице?

AI-краулеры, кроме Google, не выполняют JavaScript. Текст, который появляется только после работы скриптов, для них невидим, поэтому js-render считает слова в сыром HTML. Меньше 300 слов — провал, от 600 — норма.

Какие AI-боты входят в проверку?

Семнадцать именованных ботов в robots.txt , среди них GPTBot , ClaudeBot , PerplexityBot и Google-Extended . Результат — число разрешённых из 17. Проверка ai-access в полном аудите разбирает каждого бота отдельно.

Можно ли получить видимость в нейросетях через API?

Да. GET /api/ai-lite?url=… за секунды возвращает пять сигналов и оценку в JSON. Все 53 проверки сразу доступны через audit-full .

Проверить страницу