Блокирует ли ваш сайт ChatGPT?
Пускает ли сервер ботов AI-ассистентов. robots.txt — лишь просьба, а защита от ботов блокирует молча, и в браузере сайт выглядит нормально.
Запрашиваем вашу главную как браузер и как каждый AI-бот, а также читаем robots.txt.
Разве robots.txt недостаточно?
Нет. robots.txt — лишь просьба. Файрвол или правило CDN «блокировать AI-ботов» отвечает ботам ошибкой, а в браузере сайт выглядит нормально, — поэтому мы запрашиваем сервер как каждый бот и сравниваем с браузером.
Почему может быть «не удалось проверить»?
Если сервер отказывает и обычному браузеру, отказ боту ничего не доказывает о ботах. Мы так и говорим, а не угадываем.
Блокировать ли GPTBot?
Это ваш выбор. OpenAI пишет, что GPTBot собирает контент, который может идти на обучение моделей; поиск ChatGPT использует OAI-SearchBot, и блок GPTBot не убирает вас из поиска ChatGPT.