robots.txt는 검색 로봇의 크롤링 허용 범위를 전달하는 파일입니다. 중요한 페이지를 실수로 막고 있지 않은지, Googlebot과 Naver Yeti에 상충되는 규칙이 없는지 먼저 확인하는 것이 좋습니다.
/robots.txt가 정상 응답하는지Disallow: /처럼 전체 차단 규칙이 없는지robots.txt는 크롤링 접근 제어이고, noindex는 색인 여부에 대한 지시입니다. 크롤링을 막아 놓고 noindex까지 기대하는 식으로 혼용하면 원하는 결과가 나오지 않을 수 있습니다.
일부 호스팅은 사이트가 도메인 루트가 아니라 하위 경로에 배포됩니다. 이 경우 표준 robots 위치와 프로젝트 하위 경로가 달라질 수 있으므로 배포 구조를 먼저 확인해야 합니다.
전체 무료 가이드 · 샘플 감사 리포트 · Basic / PRO 보기
수동 확인 대신 Windows 감사 도구로 Google·Naver·AI 검색 기술 신호를 한 번에 확인할 수 있습니다.