Чи блокує ваш сайт ChatGPT?
Чи пускає сервер ботів AI-асистентів. robots.txt — лише прохання, а захист від ботів блокує мовчки, і в браузері сайт виглядає нормально.
Запитуємо вашу головну як браузер і як кожен AI-бот, а також читаємо robots.txt.
Хіба robots.txt не досить?
Ні. robots.txt — лише прохання. Фаєрвол чи правило CDN «блокувати AI-ботів» відповідає ботам помилкою, а в браузері сайт виглядає нормально, — тому ми запитуємо сервер як кожен бот і порівнюємо з браузером.
Чому може бути «не вдалося перевірити»?
Якщо сервер відмовляє і звичайному браузеру, відмова боту нічого не доводить про ботів. Ми так і кажемо, а не вгадуємо.
Чи блокувати GPTBot?
Це ваш вибір. OpenAI пише, що GPTBot збирає вміст, який може йти на навчання моделей; пошук ChatGPT використовує OAI-SearchBot, і блок GPTBot не прибирає вас із пошуку ChatGPT.