За последние несколько лет я все чаще и чаще слышу понятие — глубокий интернет (Deep Web). Но никогда не задумывался — как туда попасть. И вот, чуть покопавшись я решил разобраться в этой теме.
В интернете бытует мнение, что глубокий интернет хранит почти 100000 ТБ информации, тогда как обычный интернет не более 2000 ТБ. Почти вся информация в темной стороне интернета является открытой и бесплатной. Deep Web не индексируется поисковиками Google или Yandex.
Как туда попасть
Если вы захотите зайти на такой домен через обычный браузер, вы увидите вот это.
Ну а если через TorBrowser, то страница естественно откроется. На скрине ниже я открыл местную Википедию (Hidden Wiki)
Что можно найти в Deep Web
Так как глубокий интернет используют хакеры, преступники и правоохранительные органы — это место считается опасным. Правда не совсем понятно почему.
Как-то так получилось, что первым делом я набрел форум Runion, в котором есть вещи, которые меня поразили.
Я даже не уверен, стоит ли вообще про это писать, так как современные законы РФ могут за такое покарать. Я лишь надеюсь, что все люди, которые продают на форуме оружие, это сотрудники полиции, вычисляющие таким образом предполагаемых преступников.
Меня удивило даже не столько то, что продают огнестрельное оружие, а то, что для связи используют странные ящики по типу: 4d2b151932e7 и требует шифровать письма.
Большинство продавцов принимают к оплате только Bitcoin. Чуть позже я нашел сервис, который позволяет отправлять сообщения на такие странные адреса.
На форуме встречаются заказы на бронежилеты и даже ацетон. Есть даже сим карты, которые оформлены на юридические лица. Множество веток про политику, лагеря наемников и тому подобное.
На портале http://doe6ypf2fcyznaq5.onion/ есть каталог популярных ресурсов. Из безобидных — виртуальная исповедальня, в которой абсолютно анонимно можно попросить священников из местной религии простить вам грехи.
Услышав о мифическом Глубоком или Темном Интернете, пользователь сразу задается вопросом, а как туда попасть, как зайти на сайт, который не доступен обычным пользователям Интернета. Если вас также мучает подобное любопытство, то данная статье должна вам помочь.
Что такое Темный или Глубокий Интернет
Для начала нужно коротко разобраться с тем, что такое Глубокий Интернет и что такое Темный Интернет. C этими терминами много путаницы, но говорить по простому, то эти два названия обозначают одно и тоже, а именно скрытую часть Всемирной сети Интернет.
Разные части этого Глубокого Интернета работают по разным принципам. Иногда это просто сайты, которые не индексируются поисковыми системами и поэтому доступны только по прямой ссылке. Иногда это сайты для доступа, к которым нужно знать пароль. А в некоторых случаях это сайты, работающие в сети TOR.
В данной статье мы расскажем о том, как попасть в эту часть Темного Интернета, которая работает на основе сети TOR. Сеть TOR это компьютерная сеть, которая работает поверх обычного Интернета и использует принцип луковой маршрутизации. Вся информация TOR сети шифруется и передается через несколько промежуточных серверов, для того чтобы было труднее отследить место нахождения и личность пользователя.
Ресурсы в сети TOR имеют собственный домен верхнего уровня – ONION. Конечно, данный домен нигде официально не зарегистрирован, но это не мешает им пользоваться, если на компьютере установлено программное обеспечение для работы с TOR сетью. Благодаря данному домену очень легко отличить ссылки на обычные веб-сайты в обычном Интернете от ссылок на ресурсы Темного Интернета в сети TOR.
Как попасть в Глубокий или Темный интернет
Со стороны может показаться, что для того чтобы попасть в Глубокий Интернет нужно быть хакером и обладать какими-то значительными знаниями в области компьютерных сетей. На самом деле все намного проще. Все что вам нужно для того чтобы войти в Темный Интернет это специальный браузер, который называется TOR Browser. Ну и доступ в обычный интернет тоже понадобится, но я думаю это и так понятно.
Итак, делаем первый шаг для входа в Глубокий Интернет – скачиваем TOR Browser. Для этого заходим на сайт , нажимаем на кнопку «Download» и скачиваем установочный EXE файл на свой компьютер.
Дальше запускаем скачанный EXE файл и устанавливаем TOR Browser на свой компьютер. Процесс установки данного браузера ничем не отличается от установки других программ, поэтому никаких проблем это не должно вызывать. Просто выбираем русский язык, выбираем папку для установки и ждем пока TOR Browser установится на компьютер.
После установки запускаем TOR Browser и в появившемся окне нажимаем «Соединиться». Таким образом вы подключитесь к сети TOR со стандартными настройками. Такой вариант подключения подходит для большинства случаев. Но, если есть проблемы с обычным подключением, то можно нажать на кнопку «Настроить» и изменить стандартные настройки подключения. Более подробно об этом можно почитать в нашей статье « ».
После соединения с сетью TOR в TOR браузере должно появиться сообщение «Поздравляем» или «Добро пожаловать». Это означает, что все работает и можно входить в Глубокий Интернет.
Теперь, для того чтобы попасть в Темный Интернет вводим в адресную строку ТОР браузера сайт «thehiddenwiki.org» и заходим на него.
После загрузки сайта thehiddenwiki.org перед вами появится список ссылок на популярные ресурсы в Глубоком Интернете. Перейдите на любой ресурс, и вы уже попали в Глубокий Интернет. Как и было написано в начале статьи, отличить ссылки на ресурсы Глубокого Интернета от обычных ссылок можно по домену первого уровня. Все адреса сайтов в Глубоком Интернете заканчиваются на ONION.
Нужно отметить, что часть ссылок на ресурсы Темного Интернета может не открыться. Это вполне нормально, не стоит удивляться. Это вам не обычный Интернет, здесь не все работает так гладко как вы привыкли.
Термин глубокий интернет, или глубокая паутина обозначает ту часть глобальной сети, которая осталась скрыта от поисковых систем и которая, соответственно, не может быть отображена в результатах поиска по запросу пользователей. Его можно сравнить с айсбергом, так как даже самые скромные и приблизительные оценки размера скрытого веба показывают, что он в несколько раз превышает существующую величину доступной части сети Интернет, измеряемую индексом поисковой системы Google, насчитывающим несколько триллионов страниц.
Что означает термин «глубокий интернет»Вся концепция работы поисковых систем с «видимой» частью интернета построена на использовании ссылок. Выражается это в том, что может быть найден, проиндексирован и предоставлен по запросу пользователя только тот документ, на который установлена ссылка с уже известной ранее страницы. Если ссылок нет, то с высокой долей вероятности поисковыя система не узнает о таком документе, а это означает что он может быть отнесен к глубокому вебу.
Кроме того, глубокий интернет представлен той многочисленной информацией, которая доступна только после процедуры регистрации на сайте. Это различные научные труды, документы и результаты исследований, материалы электронных подписок и рассылок, архивные изображения и видео, результаты запросов к базам данных, которые отдающиеся «на лету». Также к глубокому вебу можно отнести многочисленные данные, содержащиеся в сетях с более сложными протоколами и маршрутизацией, чем используемые в обычной сети Интернет. Это прежде всего сети Torrent и Tor.
Как попасть в глубокий интернет
Это и сложно и просто одновременно. Всегда можно потратить некоторое количество своего времени, чтобы найти профильные ресурсы по интересующей тематике, зарегистрироваться на них и получить доступ к содержащейся на них закрытой информации, но никто не сможет гарантировать, что не остались другие, не найденные вами ресурсы, на которых эта искомая информация представлена в более полном и достоверном виде.
Но найти хоть что-нибудь лучше чем не найти ничего, поэтому рассмотрим способы доступа к информации, содержащейся в глубоком интернете.
- Определите конкретную тему, информацию которую вам необходимо найти. Это поможет вам найти дополнительные условия поиска. Например, вы ищите информацию на тему похудение
. Значит дополнительными условиями для поиска могут являться диета
, избыточный вес
, гимнастика
, физические упражнения
, питание
. После того как такой список составлен начните запрашивать в любой крупной поисковой системе информацию в виде тема – дополнительное условие поиска. Например, диета физические упражнения
. Внимательно просматривайте результаты поиска, находите ресурсы, на которых информация будет доступна только после регистрации. Проходите регистрацию на выбранных сайтах и уже после этого старайтесь найти в них нужную информацию. Это и будет закрытая часть сети Интернет, в которую вы успешно попали.
- Воспользуйтесь специальными браузерами для просмотра данных, которые содержатся в специальных сетях. Прежде всего это Tor-браузер, который необходимо скачать и установить на компьютер. Как упоминалось ранее, Tor – это высокоанонимная сеть, которая в последнее время получила бурное развитие благодаря более высокой степени сохранности личных данных. В ней никто не может определить ваше местоположение как пользователя, узнать о том, какую информацию вы просматриваете. При использовании данной сети будьте внимательны и не нарушайте законодательство, так как высокая анонимность привлекает в нее различные данные, связанные с криминалом.
- Для англоязычной аудитории существуют несколько поисковых систем, специализированных на работе по глубокому интернету. Все они мало полезны для русскоговорящих людей, кроме одного замечательного ресурса - https://archive.org , который содержит копии веб-страниц и их содержимого, снятые в различные промежутки времени. С помощью данного ресурса можно узнать информацию, которая содержалась даже на тех сайтах, которые не работают в настоящее время.
В общем я решил все-таки ответить. Потому что отвечают люди, которые уверовали в фольклор и мифы.
Чёрный интернет это красивая сказка. Тор не даёт возможностей вам попасть сразу на ресурсы с продажей наркотиков или оружия.
Что такое тор? Тор это луковица, 100 одёжек. Улавливаете аналогию?
Что делает Тор, он с определённым интервалом меняет VPN сервера. То есть подключается к возможным VPN серверам по всем миру.
Цепочка становится весьма запутанной, таким образом, что определить какой сайт вы сейчас смотрите остаётся тайной для вашего провайдера.
Ваш провайдер увидит, что вы подключились к серверу в Германии, ip адрес, которого к примеру 56.56.56.56. При переходе в браузере поэтому сайту выйдет ошибка, потому что на 80 порту у этого ресурса вероятнее всего ничего нет.
Браузер работает на 80 порту.
К примеру это домен. А его физический адрес, к примеру 232.232.232.232. Если вы ведёте в браузерную строку эти 4 цифры, то он автоматически добавит так "232.232.232.232:80".
А связующей цепью между цифрами и понятными буквами является DNS(domain name server).
Но это я ушёл от темы. Так для общего развития.
Продолжаю, тор даёт вам анонимность. Полную или неполную это уже зависит от вас и вашей осторожности. Но с помощью тора никто не пустит вас в покупку запрещённых товаров. Тор не ключ к закрытой двери, а всего лишь инструмент для получения открытой двери. Считайте зубило. Тор помогает не наследить при покупке чего-то запрещённого. Так как логирования ваших действий у провайдера не будет. Но я руководствуясь законом, настоятельно не рекомендую пробовать что-то из вышеперечисленного. Все мои слова это всего лишь наглядные примеры.
Я сильно ушёл от темы, но это было нужно, чтобы обличить мифы и фольклор.
Так что же такое чёрный интернет?
Это мусорка, друзья. Это не индексируемые(неизвестные) страницы поисковым системам. Это плохо настроенные сайты SEO специалистами, или же сайты сделанные таким образом нарочно (которые, к слову, и могут торговать чем-то нелегальным)
Да нелегальные сайты то же присутствуют там, но для этого есть обратные специалисты, которые сделают так, чтобы поисковая система никогда не нашла этот сайт.
И даже если вам попадётся когда-нибудь ссылка на запрещённый сайт, то перейдя по ней вы не увидите ничего. Так как скорее всего сервер настроен, что туда пускают по доверенным айпи адресам или вообще какому-нибудь спрятанному шифру(нажать мышкой в определенную маленькую область из пикселей)
Надеюсь, что я разъяснил вам это понятие.
Подвергайте фольклор и мифы здоровому скептицизму, и не бойтесь страшных фраз.
ты противоречишь сам себе, сначала сказав, что дарквеб это миф и сказка, а потом что нет, он существует, но это мусорка. поправьте меня, но инструмент для получения открытой двери это ключ? и ведь не важно как его называть если ведет он все равно к открытой двери?
и опять таки ты путаешь дарквеб и дипвеб.
плохо проиндексированные сайты -ипвеб, и к тору никак не имеет отношения
В Google и других поисковых системах можно найти только часть информации, содержащейся в Интернете. Данные, хранящиеся в так называемом «глубоком» и «темном вебе», для них закрыты. Эта огромная параллельная вселенная служит как законным, так и незаконным целям.
Поисковые системы, такие как Google и «Яндекс», являются единственными воротами в онлайн для большинства пользователей Интернета: тот, кому требуется отыскать что-либо в мировой Глобальной сети, обычно вводит свой запрос в поисковую форму одного из этих сервисов и выбирает именно ту информацию, которая появляется в результатах поиска, - причем, как правило, только сайты, находящиеся на первых страницах поисковой выдачи. Но даже если бы у путешественника по просторам Всемирной паутины хватило терпения открыть все показанные ему тысячи ссылок, он увидел бы лишь часть того, что доступно в Интернете, потому что Google и другие поисковые машины вовсе не всеведущи. Если кому-то нужно скрыть что-нибудь в Сети от поисковиков, он может с легкостью сделать это.Тайные общества в Интернете?
Возможность прятать данные от поисковых систем используют как владельцы обычных сайтов, так и организаторы анонимных сетей, частично составляющих так называемый «темный веб» - сегменты мировой Глобальной сети, не связанные с Интернетом. Идея, которая лежит в основе анонимных пользовательских сетей, похожа на концепцию тайных обществ и масонских лож реального мира. Кстати, сама по себе она не имеет ничего общего с незаконной деятельностью. Принцип прост: тот, кто лично знаком хотя бы с одним членом ложи, может быть приглашен на общие встречи всех членов. Они проходят в общественно доступных местах, но только посвященные знают, что именно происходит, когда и где. В Интернете это выглядит так: анонимные сети используют те же технологии, что и другие онлайн-службы: веб-страницы, электронную почту, обмен файлами. В принципе, они могли бы быть доступны каждому - но лишь в том случае, если этот «каждый» использует определенное программное обеспечение и знает, что и кого ему нужно найти.
Анонимные сети зародились как ответ компьютерного сообщества на чрезмерное рвение правообладателей и властей по ограничению распространения цифрового контента и информации еще в конце 90-х годов прошлого века и с тех пор постоянно совершенствуются. После того как правоохранительные органы всего мира обратили свое внимание на файлообменные сервисы и начали преследовать их наиболее активных участников, владельцы таких ресурсов стали искать способы беспрепятственно продолжать свою деятельность и разработали скрытый аналог децентрализованных пиринговых сетей (Peer-to-Peer, P2P, «равный к равному»), таких как Napster, EDonkey или BitTorrent.
В файлообменных сетях P2P обычно существуют центральные серверы, называемые трекерами, которые позволяют всем пользователям находить друг друга и обмениваться файлами MP3, видео, программами, изображениями и любой другой информацией в цифровом виде, - естественно, не заботясь об авторских правах и других связанных с законностью деталях. В анонимных сетях таких серверов нет - вся информация хранится распределенно на компьютерах пользователей.
Анонимные сети и «темный веб»
К находящейся на просторах «темного веба» информации в большинстве случаев нельзя получить доступ через Интернет, поскольку такие сегменты глобальной Сети могут вовсе не иметь подключения к нему. Чтобы попасть в анонимные сети, потребуется установить специальное программное обеспечение, которое есть на CHIP DVD.
ANts P2P написана на языке программирования Java и позволяет всем желающим анонимно обмениваться файлами. Обмен трафиком осуществляется не напрямую, а через несколько узлов-посредников. Каждому участнику Ants P2P известен только адрес соседнего компьютера, поэтому узнать, кто и куда передает файл, нельзя. Передаваемые данные шифруются по алгоритму AES для большей безопасности.
 |
Назначение: анонимный обмен файлами. Сайт: antsp2p.sourceforge.net
Bitmessage предназначена для обмена надежно зашифрованными сообщениями и задумывалась как альтернатива электронной почте и другим мессенджерам, данные из которых в любой момент могут оказаться в руках у спецслужб. Архитектура Bitmessage сходна с архитектурой сети Bitcoin, предназначенной для обмена денежными средствами, но оптимизирована для передачи сообщений. Обмен возможен не только между отдельными пользователями, но и группами. После того как Эдвард Сноуден обнародовал информацию о массовой слежке за пользователями Интернета со стороны спецслужб, Bitmessage стала по-настоящему популярной.
Назначение: анонимный обмен денежными средствами. Сайт: www.bitcoin.org
Дружеский обмен
В отличие от Интернета, некоторые анонимные сети доступны далеко не для всех. Их создатели ставили одну цель: избежать надзора со стороны властей, которые сами зачастую нарушают закон, следя за своими гражданами. Разработанная для этого система анонимности привлекла не только борцов за свободу информации и обмена мнениями, но и любителей различного нелегального контента и пиратских копий.
Созданные внутри Интернета скрытые сети по аналогии с P2P стали сокращенно называть F2F (Friend-to-Friend, «друг к другу»). Впервые этот термин был введен в обиход в 2000 году программистом Даниэлем Бриклином, который прославился как разработчик первойэлектронной таблицы для ПК. В отличие от некоторых сетей P2P, они не имеют центральных серверов, а пользователи не могут обмениваться файлами с кем угодно.
Чтобы входить в контакт со своими друзьями, каждый участник сети должен знать их адреса и иметь их цифровые визитные карточки (сертификаты). У непосвященных нет возможности отслеживать обмен файлами. Если у друзей отсутствует интересующая вас информация, то на помощь придет анонимный режим функционирования, который поддерживается большинством существующих F2F-сетей. В данном случае допускается установление соединения между незнакомыми пользователями. Адреса компьютеров и все личные данные их владельцев при этом остаются тайной.
Freenet как спасение от цензуры
Одной из наиболее популярных сетей типа F2F является Freenet (не путать с названием некоторых интернет-провайдеров). Благодаря специальному программному обеспечению она использует уже существующую инфраструктуру Всемирной паутины и обычных сетевых операторов с их доступом к Интернету - но в то же время всеми силами отгораживается от традиционной Сети.
 |
Freenet предназначена не только для обмена информацией между отдельными людьми. Внутри этой анонимной сети существуют и классические веб-сайты, однако URL-адреса в привычном для пользователей Интернета понимании отсутствуют. Кроме того, здесь есть изолированная от Паутины система электронной почты, дискуссионные форумы (FMS и Frost) и аналог социальной сети (Sone). Вся информация, доступная во Freenet, хранится распределенно на жестких дисках компьютеров пользователей в зашифрованном виде, для доступа к ней используется сложная система маршрутизации. Все это гарантирует практически полную анонимность, но накладывает ряд ограничений. По сравнению с Интернетом сеть Freenet работает значительно медленнее. В ней пока недоступны некоторые современные технологии - например, динамическая генерация контента с использованием баз данных и скриптов, широко применяемая в Интернете.
Целью основателей проекта Freenet было создание такой глобальной сети, где все пользователи смогли бы сохранять анонимность и никому не было бы позволено решать, что приемлемо, а что нет. В этой сети поддерживается дух свободного обмена информацией и свободы слова; даже у создателей Freenet нет полного контроля над системой. В таких странах, как, например, Китай, людям особенно нужен свободный обмен информацией без страха перед репрессиями со стороны государства. Полная анонимность во Freenet и подобных ей сетях достигается только тогда, когда пользователи вступают в контакт друг с другом абсолютно целенаправленно. Но даже в том случае, если разрешить установку соединения с незнакомыми людьми, вычислить компьютеры, обменивающиеся информацией, будет невероятно трудно. Коммуникация между двумя партнерами зашифрована и идет не напрямую. Потоки данных передаются через компьютеры других пользователей. Постороннему человеку чрезвычайно сложно проследить связи между отдельными участниками.
Сайты внутри Freenet остаются невидимыми для традиционных поисковых систем и никакой прямой связи с Глобальной сетью не имеют. Попасть на них можно только в том случае, если вы установите на свой компьютер бесплатное программное обеспечение Freenet и подключитесь к сети. Также полностью анонимными остаются личные данные их создателей и адреса компьютеров, на которых они размещаются.
С течением времени сеть Freenet развивалась и быстро росла. В настоящее время существует каталог сайтов со свободным доступом, который называется Linkageddon. В нем нет функции поиска, и пользователям Freenet приходится просматривать нерассортированный массив с помощью прокрутки, встречая при этом самые неожиданные вещи. В списке, кроме запрещенного контента, попадаются страницы, которые предлагают пиратские копии. Здесь же, рядом с ресурсами, публикующими достоверную информацию, можно обнаружить страницу какого-нибудь сумасброда, который с псевдонаучной тщательностью повторяет всевозможные ложные измышления. Не исключено, что отсутствие цензуры широко используется кем-то для расследования незаконной деятельности.
 |
Программа Frost, работающая внутри сети Freenet, предназначена для анонимного обмена мнениями, структурированными на манер форумов, и файлами. Графическая оболочка приложения напоминает обложку почтового клиента, а интерфейс переведен на несколько языков, в том числе русский. Для Frost характерны те же особенности, что и для сети Freenet. Сайт: www.freenetproject.org/frost.html
Альтернативы Freenet
Invisible Internet Project (сокращенно I2P, проект «невидимый Интернет») представляет собой клон Freenet.
Данная сеть создана с целью обеспечения анонимного доступа к различным услугам, среди которых блоги, обмен мгновенными сообщениями, электронная почта, сайты, сервисы передачи файлов и т. д. Как уверяют ее авторы, конечной задачей проекта I2P является способность функционировать в жестких условиях, даже под давлением организаций, обладающих значительными финансовыми или политическими ресурсами. Передаваемые по сети данные шифруются, а сама сеть является децентрализованной. К I2P-сетям можно подключиться не только с компьютера, но и со смартфонов или планшетов под управлением системы Android.
Назначение: многофункциональная анонимная сеть. Сайт: www.i2p2.de
 |
Hyperboria представляет собой экспериментальную децентрализованную сеть, основанную на сетевом протоколе cjdns. Передача данных на физическом уровне может осуществляться как с использованием инфраструктуры Интернета, так и напрямую между маршрутизаторами, что позволяет создать полностью независимую от Интернета глобальную сеть с ячеистой топологией. Передаваемый по Hyperbolia трафик шифруется, однако сеть не является анонимной - существует возможность установить как адрес отправителя, так и получателя данных.
Назначение: анонимный обмен файлами и сообщениями. Сайт: retroshare.sourceforge.net
«Темный веб» без темных махинаций
Анонимные сети не обязательно должны быть площадкой для незаконной деятельности, считают Билли Хоффман и Мэтт Вуд. Оба работают в научно-исследовательском отделе ИТ-гиганта Hewlett-Packard. В 2009 году они впервые представили Veiled (англ. «скрытый») - новое программное обеспечение для организации пользовательских анонимных сетей.
«Мы убеждены, что анонимные сети могли бы распространиться гораздо более широко, если бы для пользователей не существовало барьеров в виде загрузки, установки и настройки программного обеспечения», - говорит Билли Хоффман. А если бы анонимные сети стали доступны для более широкой аудитории, сразу нашлось бы много возможностей их применения в законных целях, полагают специалисты.
Создавая Veiled, исследователи думали о том, как обезопасить от давления властей сайты, подобные WikiLeaks, публикующие конфиденциальные документы правительств. До сих пор владельцы проекта WikiLeaks используют обычные веб-серверы, которые из-за юридического или политического давления могут в один прекрасный день исчезнуть из Сети. Если бы все их материалы распространялись децентрализовано через анонимную сеть, противники WikiLeaks превратились бы в борцов с ветряными мельницами, поскольку документы, которые обращаются в анонимных сетях, хранятся не на серверах, а распределены небольшими частями среди разных пользователей. По такому принципу работает, например, упомянутая выше сеть Freenet.
Исследователи из HP хотят упростить анонимные сети и для этого используют в своей программе технологию обычного браузера. Veiled работает без загрузки и установки на таких устройствах, как iPhone, а также на компьютерах под управлением операционных систем Windows, Mac и Linux. На первый взгляд Veiled кажется не таким мощным, как зрелое и специализированное программное обеспечение для анонимных сетей, однако имеет все важнейшие функции, необходимые для анонимной сети, среди которых - шифрование всех данных, передаваемых участниками, и возможность общаться в чате. Хоффман и Вуд подготовили подробную документацию по Veiled, чтобы другие программисты могли воссоздать их замысел. Veiled хорош, но двое исследователей из HP никогда не станут публиковать эту программу. Причина - возможный правовой конфликт с компанией, в которой они работают. Тем не менее авторы выставили в Сети настолько подробную презентацию, что, по мнению Хоффмана, другие программисты смогут без труда разработать аналог Veiled.
«Глубокий веб»: больше, чем WWW
«Темный Интернет» также невидим для поисковых систем и их пользователей, но организован совершенно иначе, чем анонимные сети. Его формируют огромные базы данных с различной информацией и страницы обычного Интернета, в силу ряда причин недоступные для популярных поисковых систем. Пользователи могут получить доступ к ним лишь в том случае, если отправят к базе данных специальный запрос или зайдут на страницы, адреса которых им заранее известны.
Сейчас владелец каждого веб-сайта может сам определить, какая часть его контента должна попасть в индекс Google и других поисковых систем, и должна ли попасть туда вообще. Если владелец закроет доступ на свой ресурс для поисковых роботов, запретит незарегистрированным пользователям просматривать страницы или же не удосужится должным образом оптимизировать свой сервис, то его информация не появится в списках результатов поиска даже в том случае, когда на нее есть ссылки с десятков тысяч сайтов, проиндексированных поисковыми системами. При обычных обстоятельствах это гарантировало бы самое высокое место в результатах выдачи. Поисковые машины как бы слепы на один глаз - и показывают своим пользователям только часть того, что есть на просторах Интернета.
Хорошим примером «глубокого веба» являются каталоги библиотек. Хотя эти списки книг и журналов хранятся в основном на традиционных веб-серверах, доступ к ним разрешается только после регистрации, выполнить которую поисковые системы не в состоянии. Им остается лишь в некотором роде «посмотреть снаружи на запертую дверь» и идти дальше. То же самое относится к базам данных с информацией об авиарейсах, специальных медицинских материалах, различной производственной документацией, социальным сетям и т. д. Правда, Google, купив ITA Software (подразделение, разрабатывающее ПО для транспортной индустрии, ранее - независимая компания), решила хотя бы проблему с авиаперелетами: американские пользователи Google уже могут вводить поисковые запросы типа «самый дешевый рейс из Нью-Йорка в Лас-Вегас» и получать результат.
Иногда владельцы ресурсов, информация которых не должна попадать в Сеть, допускают технические ошибки, вследствие которых конфиденциальные сведения оказываются в результатах поиска (все эти данные также относятся к «глубокому вебу»). Подобный случай произошел 18 июля 2011 года, когда «Яндекс» проиндексировал часть SMS-сообщений, отправленных с сайта фирмы «Мегафон» абонентам сотового оператора. Как впоследствии пояснили специалисты «Яндекса», в разделе отправки SMS на странице «Мегафона» в момент индексации поисковой системой отсутствовал файл robots.txt, в котором содержатся команды поисковому роботу. В нем, в частности, должен быть обозначен запрет на индексацию конфиденциальных разделов сайта. Сейчас эта информация уже удалена из результатов поиска, но внимательные пользователи успели ее сохранить и выложить в файлообменные сети, где она доступна и по сей день. Однако это еще не полное погружение в «глубокий веб».
Сталкеры «глубокого веба»
Открыть доступ к недрам Интернета обещают такие поисковые системы, как CompletePlanet и Scirus. Они устроены иначе, чем Google и «Яндекс», и позволяют находить информацию в таких базах данных, перед которыми традиционные поисковые системы пасуют. Например, CompletePlanet, как утверждают ее создатели, предоставляет доступ примерно к 70 000 сложноиндексируемых баз, а Scirus поможет отыскать информацию в различных научных архивах с данными.
Их работа стала возможной благодаря передовым поисковым роботам (часть поисковой системы, ответственная за сбор информации на сайтах). Они, в частности, способны генерировать вполне осмысленные запросы к базам данных и заполнять за пользователя формы благодаря поддержке специфичных языков.
Традиционные поисковые системы тоже стремятся добраться до информации, которая находится в глубоком Интернете, что неудивительно - по оценкам экспертов, там ее содержится в тысячу раз больше, чем в поверхностном. Компания Google, например, разработала особый формат для карт сайтов, благодаря чему ее поисковые роботы посещают даже те страницы, ссылки на которые с других ресурсов отсутствуют. Разумеется, сперва такую карту должен создать владелец сайта. Постепенно поисковики будут индексировать все больше информации, находящейся в глубоком Интернете, и граница между «поверхностным» и «глубоким вебом» размоется. Но некоторая ее часть все равно останется недоступной для поиска - например, предоставляемый только по подписке платный контент.
Первый шаг в «глубокий веб»
Вы можете окунуться в «глубокий веб» даже без установки специального программного обеспечения - с помощью специальных порталов и поисковых систем.
Проект OAIster (oaister.worldcat.org), инициированный Мичиганским университетом, ищет документы в метаданных серверов более 400 учреждений по всему миру. Это библиотеки, научные организации, редакции журналов и т.д. OAIster интересен прежде всего ученым, ведь он обеспечивает доступ примерно к 18 млн групп данных.
CompletePlanet (www.completeplanet.com) ищет информацию там, где Google и «Яндекс» не в состоянии ее отыскать. Посетители сайта этого поискового движка получают доступ более чем к 70 000 баз данных «глубокого веба» и каталогу ресурсов.
 |
Дооснащаем браузер
Чтобы попасть в некоторые закоулки «глубокого веба», необходимо дооснастить браузер. Для этого требуется установить дополнение - службу анонимизации Tor (www.torproject.org), которая позволяет пользователям оставаться незамеченными в Сети благодаря технологии Onion Routing («луковая маршрутизация»). Данные передаются в Интернет через целый ряд постоянно меняющихся прокси-серверов и шифруются. Tor можно использовать для анонимного выхода в Интернет и работы как с приложениями, использующими протокол TCP, так и с внутренними скрытыми сервисами, образующими «темный веб». Доступ к ним возможен только из сети Tor. Принцип на первый взгляд нехитрый, однако на самом деле все гораздо сложнее. В «темном вебе» нет URL-адресов в привычном для нас смысле. Например, адреса скрытых страниц в сети Tor представляют собой криптографические комбинации букв и чисел с доменным именем «.onion». Они часто меняются, так что их приходится каждый раз искать заново.
