웹 로봇의 이름들..

웹 로봇 이름들..

이올린 : Mozilla/4.0 (compatible; Eolin)
야후 : Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
올블로그 : Allblog.net RssSync4 (I Love Bluecat)
MSN : msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Naver : Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)
Naver : Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
Colcol : [Colcol.net]ColFeed(V5.0)
다음 : Mozilla/5.0 (compatible; Firefox mutant; +http://ws.daum.net/aboutkr.html) Daumoa/2.0
Lijit : Lijit Crawler (+http://www.lijit.com/robot/crawler)
Goolgle : Mediapartners-Google

알수없는 로봇들
xMind/0.5
newmoni
libwww-perl/5.53 ~ libwww-perl/5.819
Lynx/2.8.4rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/0.8.6
Java/1.6.0_06
Java1.4.0_01
lgjmd n wwfiaf99a iowd9yhmcofokc
larbin_2.6.3 larbin2.6.3@unspecified.mail
libcurl-agent/1.0
KDDI-KC31 UP.Browser/6.2.0.5 (GUI) MMP/2.0

출처 : http://stnzone.com/gboard/blog/?id=1058



웹 로봇이란 무엇인가?

로봇이란 자동적으로 웹의 하이퍼텍스트 구조를 따라 다니며 문서를 추출하고, 재귀적으로 그 문서에서 참조되는 다른 문서들을 추출하는 식으로 동작하는 프로그램이다.
여기서 "재귀적"으로 동작한다는 것이 따라다니는 알고리듬이 재귀적이라는 뜻이 아니다. 약간의 휴리스틱으로 문서를 선택하는 순서가 달라질 수 있지만 그래도 그것 역시 로봇이라 할 수 있다.

보통 웹브라우져는 로봇이 아니다. 왜냐하면 그것들은 매번 링크를 따라 다닐 때마다 사람이 작동시키기 때문이다. 로봇은 자동으로 링크를 따라다니는 프로그램을 말한다.

웹 로봅은 보통 웹 방랑자(Wanderer), 기어다니는 것(Crawler), 혹은 스파이더(Spider, 거미)로 불리기도 한다. 이 이름 때문에 소프트웨어 자체가 바이러스처럼 돌아다니는 것으로 오해를 사는 경우가 있는데, 그렇지 않다. 로봇 프로그램 자체는 한곳에 머물러 있고, 단지 서로 다른 사이트로부터 문서를 읽으올 따름이다.

출처 : http://coffeenix.net/doc/misc/robot_ksfaq.html#agent