O seu site bloqueia o ChatGPT?
Se o seu servidor deixa entrar os bots dos assistentes de IA. O robots.txt é só um pedido — a proteção contra bots bloqueia em silêncio, e no navegador o site parece normal.
Pedimos a sua página inicial como um navegador e como cada bot de IA, e lemos o robots.txt.
O robots.txt não chega?
Não. O robots.txt é só um pedido. Uma firewall ou a regra de uma CDN «bloquear bots de IA» responde aos bots com um erro enquanto o site parece normal no navegador — por isso perguntamos ao servidor como cada bot e comparamos com um navegador.
Porque pode aparecer «não foi possível verificar»?
Se o servidor recusa também um navegador normal, uma recusa a um bot não prova nada sobre bots. Dizemo-lo em vez de adivinhar.
Devo bloquear o GPTBot?
A escolha é sua. A OpenAI indica que o GPTBot recolhe conteúdo que pode ser usado para treinar os seus modelos; a pesquisa do ChatGPT usa o OAI-SearchBot, e bloquear o GPTBot não o retira da pesquisa do ChatGPT.