Il tuo sito blocca ChatGPT?
Se il tuo server lascia entrare i bot degli assistenti IA. robots.txt è solo una richiesta: la protezione dai bot blocca in silenzio e nel browser il sito sembra normale.
Chiediamo la tua home page come un browser e come ogni bot IA, e leggiamo robots.txt.
Non basta robots.txt?
No. robots.txt è solo una richiesta. Un firewall o la regola di una CDN «blocca i bot IA» risponde ai bot con un errore mentre il sito sembra normale nel browser: per questo chiediamo al server come ogni bot e confrontiamo con un browser.
Perché il risultato può dire «impossibile verificare»?
Se il server rifiuta anche un browser normale, il rifiuto a un bot non dimostra nulla sui bot. Lo diciamo invece di indovinare.
Devo bloccare GPTBot?
È una tua scelta. OpenAI indica che GPTBot raccoglie contenuti che possono servire ad addestrare i suoi modelli; la ricerca di ChatGPT usa OAI-SearchBot, e bloccare GPTBot non ti toglie dalla ricerca di ChatGPT.