자료실

홈 / 고객센터 / 자료실

robots.txt로 바이두 검색엔진에게 웹 페이지의 방문 여부를 알려주라

기본정보
  • 글쓴이
  • 고객지원팀
  • 조회수
  • 35회
상세내용

1. robots 란? 


robots란 사이트에 담긴 txt 파일인데, 그 작용은 각 검색엔진에게 사이트 중의 어떤 웹 페이지는 또는 카테고리는 방문 가능하고, 어떤 것은 방문 불가한다는 것을 알려 주는 작용을 합니다.

스티커 이미지


2. robots 파일은 어디에 있는가?  


robots 파일은 "robots.txt"형식으로 사이트 첫 목록에 저장해야 합니다.  

예를 들어 사이트 "uniqueway.com"의 robots 파일은 "uniqueway.com/robots.txt"에서 확인할 수 있습니다. 

스티커 이미지

사이트 "uniqueway.com/robots.txt"의 robots를 살펴보겠습니다. 


'User-agent:'뒤에는 각 검색엔진의(바이두, 구글 등) "스파이더" 이름을 쓰고, 

'User-agent: *'뜻은 모든 검색엔진을 상대로 한다는 뜻이고, 

'Disallow:'뒤에는 수록 금지된 페이지나 카테고리를 입력하면 됩니다. 

'Disallow:'뒤에 아무것도 쓰지 않으면 검색엔진이 사이트의 모든 내용을 방문할 수 있다는 것을 말합니다. 



3. 각 검색엔진 "스파이더" 이름


검색엔진 이름 스파이더 이름


바이두 / baidu.com Baiduspider

구글 / google.com Googlebot

sogou / sogou.com Sogou web spider

360 / so.com 360Spider

MSN / msn.com MSNBot

youdao / youdao.com YoudaoBot

soso / soso.com Sosospider

yahoo / yahoo.com Inktomi Slurp

yandex / yandex.com YandexBot

bing / bing.com Bingbot



4. robots 작성하는 방법  


직접 제작한 뒤 ".txt"형식으로 저장한 뒤 서버에 올리면 되고, 전문적인 도구를 사용해도 됩니다. 

http://tool.chinaz.com/robots/ 


5. robots를 바이두에게 제출하는 방법  


robots를 사이트 서버에 올린 뒤 바이두 검색엔진이 오기를 기다리도 되는데, 주동적으로 바이두에게 제출하는 것을 추천합니다.   

자료실

유용한 자료들을 모아두었습니다.

자료실 목록
번호 제목 글쓴이
62 고객지원팀
61 고객지원팀
60 고객지원팀
59 고객지원팀
58 고객지원팀
57 고객지원팀
56 고객지원팀
55 고객지원팀
54 고객지원팀
53 고객지원팀
52 고객지원팀
51 고객지원팀
50 고객지원팀
49 고객지원팀
48 고객지원팀
47 고객지원팀
46 고객지원팀
45 고객지원팀
44 고객지원팀
열람중 고객지원팀