# 잡레이더 robots.txt — 자동 수집 정책: https://jobs.chanstool.com/terms.html#data # 검색엔진은 페이지 색인을 위해 데이터까지 허용 User-agent: Googlebot User-agent: Bingbot User-agent: Yeti User-agent: Daumoa Allow: / Disallow: /api/ # AI 학습·수집 크롤러는 전부 차단 User-agent: GPTBot User-agent: ChatGPT-User User-agent: OAI-SearchBot User-agent: ClaudeBot User-agent: Claude-Web User-agent: anthropic-ai User-agent: CCBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Bytespider User-agent: PerplexityBot User-agent: meta-externalagent User-agent: Amazonbot User-agent: cohere-ai User-agent: Diffbot Disallow: / # 그 밖의 봇: 페이지는 허용, 데이터·API 수집 금지 User-agent: * Allow: /$ Allow: /tools Allow: /terms Disallow: /data/ Disallow: /api/