robots.txt 에 대한 기사글

2015.06.30 13:41

소울 조회 수:3620

대부분의 사이트에는 ‘/robots.txt’가 존재한다. robots.txt는 원래 검색엔진의 트래픽을 조절하는 용도로 사용한다. 검색엔진이 들어올 필요 없는 곳을 막아놓음으로써 과도한 트래픽 발생을 줄이고자 만들었다. 그런데 우리나라에서는 이상하게 보안 도구로 인식됐다. 오히려 robots.txt에 불필요한 사이트 페이지 정보를 제공함으로써 보안 정보가 유출될 수 있다. robots.txt에서 ‘disallow'(크롤링 금지)하는 페이지 정보는 불필요하게 해커들에게 정보를 제공한다. 검색엔진을 마치 해커처럼 생각하고 막으려고 하면서 생긴 해프닝이
구청이나 행정기관의 사이트를 보면 영어, 중국어, 일어 서비스도 하는데, robots.txt로 검색엔진을 막아놓는다. 외국 사용자들이 검색엔진에서 사이트 내 정보를 찾을 수 없으니 외국어 서비스도 소용이 없다. 검색에 노출된다는 건 누구나 접근이 가능한 것이다. robots.txt를 보안도구로 생각하는 것은 잔디밭에 ‘들어오지 마세요’ 라고 표시해놓고 그걸 보안이라고 생각하는 격이다. robots.txt는 보안 도구가 아니다.

[펌] http://www.bloter.net/archives/230774
번호 제목 글쓴이 날짜 조회 수
117 xenserver vm 메모리 강제지정 소울 2016.12.21 2072
116 centos selinux 비활성화 소울 2016.11.30 2018
115 vi에 ^M 문자가 박혀서 오류가 날경우 소울 2016.07.05 2243
114 xagrs 소울 2016.06.29 2328
113 robot.txt 설정 소울 2016.06.28 2500
112 html charset : euc-kr / UTF-8 소울 2016.06.28 2303
111 uniq / cut 소울 2016.06.27 2291
110 export PATH 소울 2016.04.26 2773
109 서버내 ip 확인 소울 2016.01.18 3069
108 crontab 파일형식 소울 2016.01.11 3220
107 리부팅 없이 호스트명 변경 소울 2015.08.13 4619
106 xenserver 하드디스크 추가 소울 2015.07.29 6383
105 리눅스 메모리 캐시삭제 소울 2015.07.22 5332
104 sysctl.conf 소울 2015.07.22 3468
» robots.txt 에 대한 기사글 소울 2015.06.30 3620
102 ssh keygen 이용 소울 2015.06.23 3609
101 html error 상태코드 소울 2015.06.17 4297
100 tune2fs 소울 2015.05.04 3623
99 ip 장소확인 사이트 소울 2015.03.26 3423
98 linux에서 iso 이미지 만들기 소울 2015.02.10 4892