CCBot este user-agent-ul folosit de Common Crawl. Daca blochezi CCBot in robots.txt, NU vei aparea in dataset-ul Common Crawl, deci NU vei fi in training-ul nici un LLM major. Multe site-uri blocheaza CCBot din ignoranta crezand ca-i bot spam — gresit. Recomandat: permite explicit CCBot (Allow: /) in robots.txt.
Cunoscut si ca: Common Crawl bot