국내 사이트를 위한 대표적인 검색로봇 종류와 robots.txt 작성법 1가지

글로벌 사이트가 아닌 이상 대상은 내국인을 상대로한 웹마케팅을 기획해야 합니다. 지난 주말 작성을 어떻게 하는게 좋은지에 대한 고민도 하고 검색도 해봤습니다. 내가 내린 나만의 결론을 이야기하려 구글 검색이나 구글 SEO에 관심이 있으신 분들에게 조금이라도 도움이 되었으면 합니다. 물론 검색 로봇이 사이트에 방문을 잘 할 수 있게 사이트맵 설정이나 구글 서치콘솔 등록도 사전에 준비되어야 합니다.

검색로봇이 뭔지? robots.txt 가 무엇인지에 대한 설명은 생략하겠습니다. 필요하신 분들은 다음 포스팅을 참고 하시면 됩니다.

• 구글봇이란?
• robots.txt 소개

우리가 구글 검색결과에 관심이 많으니 구글에서 이야기하는 것 위주로 참고하는 것이 좋을 것입니다.

국내 사이트를 위한 대표적인 검색로봇?

User-agent: Googlebot
User-agent: Yeti
User-agent : DAUM
User-agent: Bingbot
User-agent: AhrefsBot
User-agent: SemrushBot

운영자에따라 달라질 수 있지만 구글, 네이버, 다음, 빙 정도는 허용하지 않을까?란 생각을 해봅니다. 그리고 나머지 2개도 필요 한 분들은 추가 하겠죠.

국내 사이트용 robots.txt 샘플

내가 사용하는 국내 쇼핑몰을 위한 샘플 입니다.

User-agent: Googlebot
User-agent: Yeti
User-agent : DAUM
User-agent: Bingbot
User-agent: AhrefsBot
User-agent: SemrushBot
Disallow: /admin/

User-agent: *
Disallow: /

1) 모든 검색로봇의 크롤링을 막습니다.
2) 구글, 네이버, 다음, 빙, ahrefsbot, semrushbot만 admin 폴더를 제외하고 크롤링을 허용.
위 두 조건을 동시에 만족하는 샘플 입니다.

# Prevent all search engines from accessing any part of the site
User-agent: *
Disallow: /

# Allow Google and Bing robots to access all parts of the site except /admin/ folder
User-agent: Googlebot
User-agent: Bingbot
Disallow: /admin/