로봇 배제 표준

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

로봇 배제 표준웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다.

이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다.

이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다. 따라서, 접근 방지 설정을 하였다고 해도, 다른 사람들이 그 파일에 접근할 수 있다.

[편집]

만약 모든 로봇에게 문서 접근을 허락하려면, robots.txt에 다음과 같이 입력하면 된다.

User-agent: *
Allow: /aa

모든 로봇을 차단하려면:

User-agent: *
Disallow: /

BadBot이라는 로봇에 private, tmp 디렉터리 접근을 차단하려면:

User-agent: BadBot
Disallow: /private/
Disallow: /tmp/

대안[편집]

HTML의 meta 태그를 이용할 수도 있다.

<meta name="Robots" content="Noindex,Nofollow" />

하지만 이러한 방법은 일반적인 방법이 아니고, 아직까지는 일부의 로봇만이 지원한다.

바깥 고리[편집]