robots.txt 관련 글을 읽어보면 이해가 된다. 하지만 실제로 내가 원하는 방향으로 설정하려면 맞게 한 것인지 검증을 할 곳이 없이 애매할 때가 종종 있었습니다. 오늘은 제가 평상시 애매했던 부분을 알게 되어 기록 형으로 포스팅을 남깁니다.
하나를 제외한 모든 크롤러 허용/차단하기
아래 내용을 풀이하면…Googlebot-image만 차단이 되며 나머지 크롤러 봇은 사이트에 접근할 수 있다는 뜻이다.
user-agent: Googlebot-image
Disallow: /
user-agent: *
Allow: /아래 내용을 풀이하면, 위와 반대로 Googlebot-image만 허용이 되며 나머지 크롤러 봇은 사이트에 접근이 차단된다는 뜻이다.
user-agent: Googlebot-image
Allow: /
user-agent: *
Disallow: /
