⋯1번째 줄 근처
+추가: ## 개요
+추가: 심층 웹(深層-, deep web)은 일반적인 검색 엔진으로는 색인되지 않아 검색 결과에 나타나지 않는 월드 와이드 웹의 콘텐츠를 가리키는 용어다. 표층 웹(surface web)과 대비되는 개념으로, 인터넷 전체와 혼동되기 쉽지만 월드 와이드 웹은 인터넷을 구성하는 여러 서비스(전자 메일, 온라인 게임, 파일 공유, 모바일 앱, 동영상 스트리밍, 웹캠, VoIP 등) 중 하나에 불과하다. 심층 웹이라는 명칭에는 '웹(web)'이 들어가지만 실제로는 월드 와이드 웹이 아닌 서비스들도 포함하므로, 더 정확한 용어로는 '딥넷(deepnet)'이 제안되기도 한다. 영어 위키피디아에서는 deepnet 문서를 deep web으로 넘겨주고 있다.[1][2][3]
+추가:
+추가: ## 작동 방식과 유형
+추가:
+추가: ### 색인 배제 메커니즘
+추가:
+추가: 전통적 검색 엔진의 웹 크롤러는 알려진 프로토콜 가상 포트 번호를 통해 하이퍼링크를 따라가며 콘텐츠를 발견한다. 이 방식은 표층 웹에는 효과적이지만 심층 웹 콘텐츠 발견에는 한계가 있다. 예를 들어 크롤러는 데이터베이스 쿼리 결과로 생성되는 동적 페이지를 찾으려 시도하지 않는데, 가능한 쿼리의 수가 불확정적이기 때문이다. 쿼리 결과에 대한 링크를 제공하는 방식으로 부분적 극복이 가능하나, 이는 의도치 않게 심층 웹 사이트의 인기도를 부풀리는 부작용을 낳을 수 있다.[3]
+추가:
+추가: 심층 웹 사이트는 직접 URL이나 IP 주소로 접속 가능하지만, 실제 콘텐츠 접근에는 비밀번호 입력 등 보안 인증이 필요할 수 있다. 검색 엔진이 페이지를 색인하지 못하도록 하는 기술적 방법은 크게 다음과 같이 분류된다.[3]
+추가:
+추가: #### 문맥 의존 웹(Contextual web)
+추가:
+추가: 접속 문맥(클라이언트 IP 주소 범위, 이전 탐색 순서 등)에 따라 콘텐츠가 달라지는 페이지들이다.
+추가:
+추가: #### 동적 콘텐츠(Dynamic content)
+추가:
+추가: 제출된 쿼리에 응답해 반환되거나, 폼을 통해서만 접근 가능한 동적 페이지들이다. 특히 개방형 입력 요소(텍스트 필드 등)가 사용되는 경우 도메인 지식 없이는 탐색이 어렵다.
+추가:
+추가: #### 제한적 접근 콘텐츠(Limited access content)
+추가:
+추가: 로봇 배제 표준(Robots Exclusion Standard), CAPTCHA, no-store 지시어 등을 사용해 검색 엔진의 탐색과 캐시 생성을 기술적으로 차단하는 사이트들이다. 내부 검색 엔진을 별도로 제공하기도 한다.
+추가:
+추가: #### 비HTML/텍스트 콘텐츠(Non-HTML/text content)
+추가:
+추가: 멀티미디어(이미지, 비디오) 파일이나 검색 엔진이 인식하지 못하는 특정 파일 포맷에 인코딩된 텍스트 콘텐츠다.
+추가:
+추가: #### 비공개 웹(Private web)
+추가:
+추가: 회원가입과 로그인(비밀번호 보호 리소스)을 요구하는 사이트들이다.
+추가:
+추가: #### 스크립트 콘텐츠(Scripted content)
+추가:
+추가: 자바스크립트가 생성하는 링크를 통해서만 접근 가능한 페이지들, 플래시(Flash)나 에이잭스(Ajax) 솔루션을 통해 웹 서버에서 동적으로 다운로드되는 콘텐츠다.
+추가:
+추가: #### 특수 소프트웨어(Software)
+추가:
+추가: 일반 인터넷에서 의도적으로 숨겨져 토르(Tor), I2P 등 다크넷 전용 소프트웨어로만 접근 가능한 콘텐츠다. 예를 들어 토르는 .onion 서버 주소를 사용해 사용자의 IP 주소를 숨긴 채 웹사이트에 익명으로 접속할 수 있게 한다.
+추가:
+추가: #### 비연결 콘텐츠(Unlinked content)
+추가:
+추가: 다른 페이지에서 링크되지 않은 페이지들로, 웹 크롤링 프로그램이 콘텐츠에 도달하지 못하게 한다. 백링크(인링크)가 없는 페이지라고도 하며, 검색 엔진이 검색된 웹 페이지의 모든 백링크를 항상 탐지하는 것은 아니다.
+추가:
+추가: #### 웹 아카이브(Web archives)
+추가:
+추가: 웨이백 머신(Wayback Machine) 같은 웹 아카이브 서비스는 시간이 지남에 따라 변한 웹 페이지의 과거 버전을 보관한다. 과거 버전은 현재 검색 엔진으로 색인될 수 없으므로 심층 웹 콘텐츠로 간주된다. 모든 웹사이트는 언젠가 업데이트되므로 웹 아카이브는 본질적으로 심층 웹에 속한다.[3]
+추가:
+추가: ### 콘텐츠 유형과 용도
+추가:
+추가: 심층 웹에는 웹 메일, 온라인 뱅킹, 클라우드 스토리지, 접근 제한된 소셜 미디어 페이지와 프로필, 열람을 위해 회원가입이 필요한 웹 포럼, 유료 동영상 스트리밍(주문형 비디오), 일부 온라인 잡지와 신문 등 일상적이고 합법적인 서비스가 대거 포함된다.[1][2][3]
+추가:
+추가: 다크넷(darknet)은 접속에 허가가 필요하거나 특정 소프트웨어로만 접속 가능한 오버레이 네트워크(overlay network)를 말하며, 다크넷상의 웹 콘텐츠만을 '다크 웹(dark web)'이라 부른다. 다크넷과 다크 웹은 심층 웹의 부분집합이다. 토르는 이름에 '넷(net)'이 들어가지 않지만 I2P, 프리넷(Freenet)과 함께 다크넷에 포함시켜 분류하는 것이 일반적이다. 포함 관계는 '심층 웹 ⊃ 다크넷 ⊃ 다크 웹'으로 정리할 수 있다.[2]
+추가:
+추가: ## 사례
+추가:
+추가: ### 심층 웹 검색 엔진 및 연구 프로젝트
+추가:
+추가: 심층 웹에 접근하려는 시도로 여러 전문 검색 엔진과 연구 프로젝트가 개발되었다. 딥피프(DeepPeep), 인튜트(Intute), 알레프 오픈 서치(Aleph Open Search), 딥 웹 테크놀로지스(Deep Web Technologies), 사이러스(Scirus), 아미아(Ahmia.fi) 등이 대표적이다. 인튜트는 자금 고갈로 2011년 7월부터 임시 정적 아카이브로 전환되었으며, 사이러스는 2013년 1월 말 운영을 중단했다.[3]
+추가:
+추가: 학계에서는 심층 웹을 자동으로 크롤링하는 방안을 지속적으로 연구해왔다. 2001년 스리람 라그하반(Sriram Raghavan)과 헥터 가르시아-몰리나(Hector Garcia-Molina, 스탠퍼드 대학교 컴퓨터 과학과)는 사용자가 제공한 중요 용어나 쿼리 인터페이스에서 수집한 용어를 이용해 웹 폼에 쿼리를 날리고 심층 웹 콘텐츠를 크롤링하는 숨겨진 웹 크롤러 아키텍처 모델을 발표했다. 알렉산드로스 엔툴라스(Alexandros Ntoulas), 페트로스 제르포스(Petros Zerfos), 정후 조(Junghoo Cho, UCLA)는 검색 폼에 자동으로 의미 있는 쿼리를 생성해 제출하는 숨겨진 웹 크롤러를 개발했다. DEQUEL 등 여러 폼 쿼리 언어가 제안되어 쿼리 실행뿐 아니라 결과 페이지에서 구조화된 데이터 추출까지 가능하게 했다. 유타 대학교의 딥피프 프로젝트는 미국 국립과학재단(NSF) 후원으로 새로운 초점 크롤러 기법을 사용해 다양한 도메인의 숨겨진 웹 소스(웹 폼)를 수집했다.[3]
+추가:
+추가: ### 상용 검색 엔진의 심층 웹 대응
+추가:
+추가: 상용 검색 엔진들도 심층 웹 크롤링 대안을 모색해왔다. 사이트맵 프로토콜(2005년 구글이 최초 개발·도입)과 OAI-PMH는 검색 엔진 등 이해관계자가 특정 웹 서버의 심층 웹 리소스를 자동 발견할 수 있게 하는 메커니즘이다. 두 방식 모두 웹 서버가 자사에서 접근 가능한 URL을 광고할 수 있게 하여, 표층 웹에 직접 링크되지 않은 리소스의 자동 발견을 돕는다. 구글의 심층 웹 표면화 시스템은 각 HTML 폼에 대한 제출값을 계산하고 결과 HTML 페이지를 구글 검색 색인에 추가한다. 이 시스템은 초당 수천 건의 심층 웹 쿼리를 처리하며, 사전 계산에는 세 가지 알고리즘이 쓰인다. 키워드를 받는 텍스트 검색 입력란에 입력값 선택, 특정 타입 값만 받는 입력란(예: 날짜) 식별, 웹 검색 색인 포함에 적합한 URL을 생성하는 소수의 입력 조합 선택이다.[3]
+추가:
+추가: ### 토르 접근 프록시: 토르투웹(Tor2web)
+추가:
+추가: 2008년 아론 스워츠(Aaron Swartz)는 토르 숨겨진 서비스(.onion 접미사) 사용자의 접근과 검색을 돕기 위해 토르투웹(Tor2web)을 설계했다. 이는 일반 웹 브라우저로도 .onion 사이트에 접속할 수 있게 하는 프록시 애플리케이션이다. 이 애플리케이션을 통해 심층 웹 링크는 임의의 문자열에 .onion 최상위 도메인이 붙은 형태로 나타난다.[3]
+추가:
+추가: ## 규제·논란·평가
+추가:
+추가: ### 용어 혼동에 따른 인식 왜곡
+추가:
+추가: 심층 웹이 다크 웹·다크넷과 동의어처럼 쓰이는 관행은 지속적인 혼란과 비판의 대상이다. 심층 웹은 검색 엔진에 색인되지 않는 모든 웹 콘텐츠를 포괄하는 광범위한 기술적 개념인 반면, 다크 웹은 의도적으로 숨겨져 표준 브라우저와 방법으로는 접근 불가능한 심층 웹의 일부분이다. 언론이 실크 로드 등 불법 마켓플레이스 보도에서 '심층 웹'을 '다크 웹' 의미로 사용하면서, 일반 대중은 심층 웹 전체를 범죄·불법 콘텐츠의 온상으로 오해하게 되었다. 이러한 혼동은 '부정확한 비교'라는 지적을 받아왔으며, 전문가들은 두 용어를 엄격히 구분할 것을 권고한다.[2][3]
+추가:
+추가: ### 심층 웹의 본질적 성격
+추가:
+추가: 심층 웹 대다수는 불법 콘텐츠와 무관한 합법적 서비스(웹 메일, 온라인 뱅킹, 클라우드 스토리지, 유료 구독 콘텐츠, 기업 인트라넷, 학술 데이터베이스 등)로 구성된다. 검색 엔진 색인 배제 자체가 불법성을 의미하지 않으며, 프라이버시 보호, 보안, 접근 제어, 기술적 제약 등 다양한 합리적 이유로 콘텐츠가 심층 웹에 위치한다. 심층 웹을 범죄 공간으로 단정하는 것은 기술적 무지에서 비롯한 과도한 일반화라는 평가가 있다.[2][3]
+추가:
+추가: ### 연구·기술적 과제
+추가:
+추가: 심층 웹의 방대한 규모와 동적 특성으로 인해 완전한 크롤링과 색인은 기술적으로 어려운 과제다. 데이터베이스 쿼리 기반 동적 페이지의 불확정성, 폼 기반 탐색의 복잡성, 인증·권한 장벽, 비표준 포맷, 의도적 은닉(다크넷) 등이 주요 걸림돌이다. 사이트맵 프로토콜, OAI-PMH, 구글의 표면화 시스템 등 자동 발견 메커니즘이 발전하고 있으나, 여전히 심층 웹 상당 부분은 검색 엔진 밖 영역으로 남아 있다. 학계의 숨겨진 웹 크롤러 연구와 상용 엔진의 대안적 크롤링 시도는 현재도 진행 중이다.[3]
+추가:
+추가: 이 문서는 GGWiki AI가 공개 자료(아래 출처)를 조사해 새로 쓴 초안입니다. 틀린 내용은 편집하거나 이의 제기로 알려 주세요.
