robots.txt

[문서별 설정]

문서의 상단에   meta 테그를 이용하여 문서별로 설정할 수 있다.

     <meta name="robots" content="index,follow" />

  

이렇게 하면 해당 문서를  로봇들이 수집해 간다.

반대로, 

<meta name="robots" content="noindex,nofollow" />

이렇게 설정하며  수집해가지 못한다.

[사이트 설정]

웹서비스 폴더에 설정하여 사이트 전체에 적용하기는 robots.txt 를 html root에 선언하여 

정책을 적용할 수 있다.

1. 모든 검색봇 차단 

User-agent: * 

Disallow: /

2. 모든 검색봇 허용

User-agent: *

Allow: /

3. 구글봇 차단 (구글봇, 구글봇이미지, 구글봇모바일)

User-agent: Googlebot

Disallow: /

User-agent: Googlebot-Image

Disallow: /

User-agent: Googlebot-Mobile

Disallow: /

4. 네이버봇 차단

User-agent: Yeti

Disallow: /