robots.txt 에 대한 기사글

2015.06.30 13:41

소울 조회 수:4653

대부분의 사이트에는 ‘/robots.txt’가 존재한다. robots.txt는 원래 검색엔진의 트래픽을 조절하는 용도로 사용한다. 검색엔진이 들어올 필요 없는 곳을 막아놓음으로써 과도한 트래픽 발생을 줄이고자 만들었다. 그런데 우리나라에서는 이상하게 보안 도구로 인식됐다. 오히려 robots.txt에 불필요한 사이트 페이지 정보를 제공함으로써 보안 정보가 유출될 수 있다. robots.txt에서 ‘disallow'(크롤링 금지)하는 페이지 정보는 불필요하게 해커들에게 정보를 제공한다. 검색엔진을 마치 해커처럼 생각하고 막으려고 하면서 생긴 해프닝이
구청이나 행정기관의 사이트를 보면 영어, 중국어, 일어 서비스도 하는데, robots.txt로 검색엔진을 막아놓는다. 외국 사용자들이 검색엔진에서 사이트 내 정보를 찾을 수 없으니 외국어 서비스도 소용이 없다. 검색에 노출된다는 건 누구나 접근이 가능한 것이다. robots.txt를 보안도구로 생각하는 것은 잔디밭에 ‘들어오지 마세요’ 라고 표시해놓고 그걸 보안이라고 생각하는 격이다. robots.txt는 보안 도구가 아니다.

[펌] http://www.bloter.net/archives/230774
번호 제목 글쓴이 날짜 조회 수
117 xenserver vm 메모리 강제지정 소울 2016.12.21 3185
116 centos selinux 비활성화 소울 2016.11.30 3161
115 vi에 ^M 문자가 박혀서 오류가 날경우 소울 2016.07.05 3306
114 xagrs 소울 2016.06.29 3429
113 robot.txt 설정 소울 2016.06.28 3584
112 html charset : euc-kr / UTF-8 소울 2016.06.28 3325
111 uniq / cut 소울 2016.06.27 3392
110 export PATH 소울 2016.04.26 3879
109 서버내 ip 확인 소울 2016.01.18 4139
108 crontab 파일형식 소울 2016.01.11 4431
107 리부팅 없이 호스트명 변경 소울 2015.08.13 6137
106 xenserver 하드디스크 추가 소울 2015.07.29 7566
105 리눅스 메모리 캐시삭제 소울 2015.07.22 6389
104 sysctl.conf 소울 2015.07.22 4571
» robots.txt 에 대한 기사글 소울 2015.06.30 4653
102 ssh keygen 이용 소울 2015.06.23 4705
101 html error 상태코드 소울 2015.06.17 5728
100 tune2fs 소울 2015.05.04 5075
99 ip 장소확인 사이트 소울 2015.03.26 4551
98 linux에서 iso 이미지 만들기 소울 2015.02.10 6269