딥 웹
최근 수정 시각:
분류
넷, 혹은 네트워크라는 것은 간단히 말하면 둘 이상의 컴퓨터를 연결하는 기술이고, 웹은 네트워크 기술을 바탕으로 쌓아올려진 정보와 콘텐츠의 총망라이다. 그렇기 때문에 인터넷 하면 흔히 생각하는 동영상이나 블로그 등과 그를 이어주는 검색 엔진을 넘어 이메일, 파일 공유(토렌트, eMule 등), 웹캠, 동영상 스트리밍, 온라인 게임, VoIP, 어플 등 다양한 서비스들도 포함된다.[2] 그리고 딥 웹은 위의 모든 것 중 구글 검색에 뜨지 않는 대부분의 것이다. 즉, '검색 가능한 것' 내지는 '인덱싱 된 것'의 여집합이 딥 웹인 것이고, 그렇기 때문에 딥 웹의 역사는 검색 엔진의 역사와 밀접한 연관이 있다.[3]
2010년 즈음 커뮤니티 등지로부터 딥 웹을 각종 음모론과 괴담하고 결부시켜 소개하는 경향이 짙어 규모를 과장시키거나 음지 성격으로 알리는 내용들이 많았다. 예를 들자면 "온갖 비인륜적 요소 미디어와 고어 및 혐짤, 마약이나 살인 청부, 스너프 필름, 아동 포르노 등 암시장 총망라다" 등이 그것인데, 본래 의미는 위처럼 검색 엔진 바깥의 총체를 일컫는 용어로서 위 괴담들은 다크 웹으로 분류해야 맞다. # 본 나무위키를 포함 딥 웹의 정의를 정정하는 소개가 후속으로 나오면서 사실 무근의 괴담들도 어느 정도 누그러졌지만 괴담의 재미와 충격이 많은 이들에게 각인된 탓인지, 괴이하거나 근원을 알 수 없는 미디어물이라면 딥 웹 드립을 치는 반응도 나오는 등[4] 일종의 인터넷 밈 같은 어휘로서도 활용되는 양상을 보이기도 한다.
그래서 대중의 인식과는 달리 사전적인 의미의 '딥 웹'은 우리 주변에서도 흔하게 접할 수 있다. 후술하겠지만 당장 자신의 이메일함은 로그인을 해야만 볼 수 있는 정보이므로 딥 웹에 해당하며, 각종 클라우드 서비스에 업로드된 자료들, WSJ 등 유료 인터넷 뉴스의 구독자 전용 지면[5] 또한 딥 웹에 해당한다고 볼 수 있다. 물론 위에 설명한 다크 웹 또한 딥 웹의 일종이긴 하나, 극히 일부에 불과하다.
또한 서피스 웹보다 딥 웹이 훨씬 방대하다는 이야기도 있는데, 아무도 딥 웹의 정확한 크기를 가늠할 수가 없으니 어느 정도는 맞고 어느 정도는 틀릴 수 있는 이야기이다. 딥 웹이라는 용어를 사실상 처음으로 사용한 2001년의 논문에 따르면 400배에서 550배에 달한다고 하고, 조금 더 최근의 연구에 따르면 그보다는 적다고 하지만 정확한 규모는 아무도 모른다. 크기를 알아내고자 하는 임의의 누군가가 접속해 자료를 열람할 수 있다면 검색 엔진 개발자(사)가 이를 인덱싱하지 않을 이유가 없고, 그렇게 되면 딥 웹이 아니게 되기 때문. 하지만 대부분의 자료나 연구에서 딥 웹이 더 크다는 것에는 동의를 하는 편이다.
그래서 대중의 인식과는 달리 사전적인 의미의 '딥 웹'은 우리 주변에서도 흔하게 접할 수 있다. 후술하겠지만 당장 자신의 이메일함은 로그인을 해야만 볼 수 있는 정보이므로 딥 웹에 해당하며, 각종 클라우드 서비스에 업로드된 자료들, WSJ 등 유료 인터넷 뉴스의 구독자 전용 지면[5] 또한 딥 웹에 해당한다고 볼 수 있다. 물론 위에 설명한 다크 웹 또한 딥 웹의 일종이긴 하나, 극히 일부에 불과하다.
또한 서피스 웹보다 딥 웹이 훨씬 방대하다는 이야기도 있는데, 아무도 딥 웹의 정확한 크기를 가늠할 수가 없으니 어느 정도는 맞고 어느 정도는 틀릴 수 있는 이야기이다. 딥 웹이라는 용어를 사실상 처음으로 사용한 2001년의 논문에 따르면 400배에서 550배에 달한다고 하고, 조금 더 최근의 연구에 따르면 그보다는 적다고 하지만 정확한 규모는 아무도 모른다. 크기를 알아내고자 하는 임의의 누군가가 접속해 자료를 열람할 수 있다면 검색 엔진 개발자(사)가 이를 인덱싱하지 않을 이유가 없고, 그렇게 되면 딥 웹이 아니게 되기 때문. 하지만 대부분의 자료나 연구에서 딥 웹이 더 크다는 것에는 동의를 하는 편이다.
- 기업 사내망: 대부분의 기업들은 자신들의 사업 기밀을 보호하기 위해 인트라넷(사내망)을 구축한다. 이러한 사이트들은 대개 robots.txt 파일 설정을 통해 검색 로봇이 내용을 긁어가는 것을 막으며, 허가된 단말기와 소프트웨어, 사원 계정으로만 접속할 수 있다. 네이버 웹툰에서 현재는 공개되지 않는 웹툰들도 주소 자체는 살아있기도 한데, 이 역시 딥 웹에 속한다.
- 학술자료 검색엔진: 국회도서관이나 다수의 학술 데이터베이스 역시 딥 웹이라 할 수 있다. 연구자료에 접근하려면 해당 연구기관에 돈을 지불하고 이용권 내지 논문을 구매해야 한다. 검색 엔진에 노출시켜 트래픽을 만들 필요가 없으니 검색 노출을 차단하고 내부에서만 검색 가능한 독자적인 네트워크를 형성하여 연구자들끼리만 이용한다.
- 특정 고객층에게만 제공: 제한된 전산실에서만 네트워크 주문빌지를 만들어 손님들께 서비스를 제공하는 경우 역시 딥 웹이라 할 수 있다. 이런 서버 같은 경우에도 http:// 이후 199.53.224.173 같은 숫자로 나열된 고유의 아이피 주소가 엄연히 존재하나 당연히 아무나 접속할 수는 없고, 특정 서버에 사원 로그인으로 접속이 가능하다.
- 진짜 범죄 관련 사이트: 대부분은 딥 웹 하면 이 유형을 떠올리겠으나, 실제 '딥 웹'으로 분류되는 트래픽에는 상술한 유형의 합법적, 일상적인 내용의 트래픽이 거의 대부분을 차지하며 진짜 범죄자들의 딥 웹은 민간 영역에 비해선 극도로 작은 규모다.
- 폐쇄적인 커뮤니티: 완전한 딥 웹이라고 보기는 어렵지만, 폐쇄적인 커뮤니티의 경우 인증된 계정에 한하여 정보를 보거나 작성할 수 있는 경우가 많고 이에 따라 검색 엔진은 해당 글들을 수집할 수 없다. 대표적으로 여성시대의 경우 총 글 수는 카페 활동 내역 기준으로 6100만 여개로 집계되고 되고 있지만 구글 검색에서는 약 600만 개정도만 노출되어 약 10%의 게시물만이 검색되고 있다. 이와 같이 특별한 인증을 통해 가입을 해야만 게시물을 열람, 작성할 수 있는 경우가 많은[6] 커뮤니티는, 작성할 때는 가입이 필요하더라도 최소한 열람하는 데에는 자격이 불필요한 대부분의 타 커뮤니티들과는 달리 명백히 폐쇄적이며, 검색 엔진에 거의 노출되지 않는 부분적인 딥 웹으로 볼 수 있을 것이다.
- 광명망에 있는 모든 페이지들: 애초에 국가단위의 인트라넷이라 외부에 공개될 일은 없다.
- 기타: 일본의 일부 개인 블로그 사이트(대한민국은 네이버 블로그 등의 서비스가 발달했지만, 일본은 개인이 직접 만들어서 업체 등을 통해 호스팅하는 웹사이트가 발달했다.)는 모종의 사유(무단 개제 방지 등)로 인해 상호 배너 개제(이마저도 루트 페이지만 허용한다)를 제외한 링크를 금지하고 robots.txt 등을 통해 크롤링을 막고 있다. 이런 사이트도 해당 블로그의 주소를 알지 않는 한 보통의 방법으로는 존재가 알려져있지 않아 도달할 수 없으니 넓게 보면 딥 웹이라고 할 수 있다. 물론 딥 웹이라곤 하지만 해당 블로그의 주소를 알고 있기만 하면(또는 다른 사이트의 배너를 타고 들어왔다면) 별도의 제한 없이 내용을 볼 수 있는 경우가 대부분이고, robots.txt를 준수하지 않는 일부 검색 엔진에는 수집되는 경우도 있다.
- 과거 미궁 게임 중 이러한 '고립된 웹 문서' 의 특성을 활용한 방식이 사용되기도 하였다. 각각의 스테이지를 타 문서와 연결되지 않은 독립적인 웹 문서로 작성하여 업로드하고, 그 페이지의 url 자체가 해당 스테이지에 진입하기 위한 '키워드' 역할을 하도록 한 것. 따라서 이전 스테이지에서 문제를 풀어 답을 입력한다고 하더라도 단순히 그 해답을 이름으로 갖는 웹페이지에 접속을 시도해볼 뿐 '답이 맞는지에 대한 판단 로직'은 가지고 있지 않기 때문에 각각의 문서들은 서로에 대한 그 어떤 스크립트 상의 연결정보도 가지고 있지 않게 된다. 이 경우 각각의 문서 페이지는 사실상의 딥 웹에 해당하지만, 사용자가 그 url을 직접 추론할 수 있는 힌트를 제공한다는 특징이 있다.
[1] 간혹 면 웹으로 불리기도 한다.[2] 지금은 한정적인 분야에서만 쓰이는 텔넷, FTP, IRC 등도 있으며 이제는 거의 사라진 유즈넷, 고퍼, 아키(Archie)도 모두 인터넷에 해당한다. [3] 물론 검색 엔진이 있기 전에도 서피스 웹과 딥 웹으로 구분할 수 있을 자료는 존재하긴 했다. 예를 들면 특정 서비스에 로그인해야만 보이는 것들. 하지만 현재에 쓰이는 딥 웹의 정의는 사실상 검색 엔진에 의해 찾아지지 않는 것이므로 딥 웹의 역사=검색엔진의 역사 라고 하여도 크게 문제는 없는 것이다.[4] 영상이 기괴하기로 정평난 김근육 시리즈 제작자가 셀프로 딥 웹이라는 드립 시전하는 영상#. 여담으로 유튜브에 업로드 되었으므로 서피스 웹 중의 서피스 웹이다. 역시 난해하다[5] 그 웹페이지 자체는 제목이 검색엔진에 인덱싱되어 있지만 그 내용은 그렇지 않기 때문에 반쯤 딥 웹이다.[6] 심지어 이마저도 회원 등급을 철저히 차등하여 내부적으로 이용할 수 있는 게시판이 여러 단계로 구분지어진다.
이 저작물은 CC BY-NC-SA 2.0 KR에 따라 이용할 수 있습니다. (단, 라이선스가 명시된 일부 문서 및 삽화 제외)
기여하신 문서의 저작권은 각 기여자에게 있으며, 각 기여자는 기여하신 부분의 저작권을 갖습니다.
나무위키는 백과사전이 아니며 검증되지 않았거나, 편향적이거나, 잘못된 서술이 있을 수 있습니다.
나무위키는 위키위키입니다. 여러분이 직접 문서를 고칠 수 있으며, 다른 사람의 의견을 원할 경우 직접 토론을 발제할 수 있습니다.