블로그

GPTBot, ClaudeBot, PerplexityBot — AI 봇 크롤링의 모든 것과 robots.txt 전략 가이드

2026년 현재 AI 크롤러는 140개 이상이며, 학습 봇·검색 봇·사용자 대행 봇의 3가지 유형으로 분화되었다. GPTBot, ClaudeBot, PerplexityBot의 역할 차이를 이해하고, GEO 관점에서 어떤 봇을 허용하고 어떤 봇을 차단해야 하는지를 실전 robots....