웹사이트 썸네일형 리스트형 검색로봇에게 걸리도록 하는 방법과 검색 못하게 하는 방법 최근 야후봇에 너무 당해서(?) robot.txt를 작성하다가, 저처럼 검색노가다를 하실 테터유저분들이 많으실 것같아서 검색한 정보를 올려봅니다. 검색로봇의 접근을 막는 방법입니다. 로봇을 배제하겠다라는 내용을 적어 놓은 robots.txt 파일을 사이트의 최상위 주소(서버 루트 디렉토리 예:www.naver.com/robots.txt)에 저장하면 됩니다. robots.txt를 서브디렉토리에 놓는 경우 효력이 없다는 사실에 주의하세요. 예를 들어, www.yourhost/~mypage 밑에 robots.txt가 있어도 이는 아무런 효력을 갖지 못합니다. 로봇은 오직 루트 디렉토리의 robots.txt만을 참조할 뿐입니다. 로봇의 접근을 어디까지 허용할 것이냐에 따라 robots.txt에 들어가는 내용은 .. 더보기 웹사이트를 통째로 다운로드 할 수 있는 무료 소프트웨어 웹사이트를 통째로 다운로드 할 수 있는 툴이 가끔 필요할 때가 있습니다. Website Copier 또는 Offline Browser 로 불리우는 3가지 무료 유틸리티를 소개합니다. 소스 코드까지 공개 되어 있는 오픈 소스 소프트웨어 HTTrack 과 Free Download Manager 도 있고 빌드된 바이너리만 있는 소프트웨어 BackStreet Browser 도 있습니다. 검색엔진에서 키워드를 "Offline Browser" 로 검색하면 다양한 유료, 무료 소프트웨어들을 찾을 수 있지만 지금 소개하는 3가지 유틸리티만 있어도 충분할 것 같습니다. 사용법은 그리 어렵지 않으니 직접 설치해서 사용할 수 있을 것입니다. 소스 코드를 수정할 수 있는 개발자라면 프로그램 소스 파일을 다운로드 받아 구미에 .. 더보기 이전 1 다음