Затерянный web: как открыть дверь в скрытый интернет

Проблема управления информационными ресурсами в Интернете с каждым днем становится все более актуальной в связи с огромными темпами роста объемов цифровой информации. Каждый день люди используют социальные сети, читают новости на сайтах, просматривают форумы и блоги, думая, что вся информация в Интернете им доступна. Мало кто знает, что на самом деле большинству пользователей доступна лишь вершина цифрового айсберга.

«Видимый» Интернет – это та часть информационного пространства, содержимое которой может быть обнаружено с помощью поисковых машин. К невидимому Интернету относятся ресурсы, к которым можно получить доступ, если знать точный адрес веб-страницы.

По мнению разных авторов к видимому Интернету относится порядка 15-20% содержимого Сети [1]. Самые смелые источники называют цифру не более 30% [2]. Таким образом, можно утверждать, что невидимый Интернет – это основная часть ресурсов, доступных онлайн.

Причины существования невидимого Интернета

Парадокс невидимого Интернета в том, что легко понять, почему он существует, но трудно точно его определить в конкретных, специфических терминах.

Большинство страниц невидимого Интернета могут быть проиндексированы, но не индексируются, потому что поисковые системы решили этого не делать. Это очень важный момент для невидимого Интернета – что поисковики просто решили исключить из индексации страницы определенного содержания. Большинство «невидимых» сайтов имеют высококачественный контент. Эти ресурсы не могут быть найдены с помощью поисковых машин общего назначения, т.к. они были заблокированы. Есть много причин, почему так происходит. Если поисковик изменит свою политику по отношению к страницам подобного рода, то эти страницы станут частью видимого Интернета.

Довольно легко классифицировать сайты как часть видимого или невидимого Интернета, если посмотреть на то, каким образом они работают. Некоторые сайты используют технологию баз данных, что действительно сложно сделать поисковой машине.

Некоторые сайты могут быть проиндексированы поисковыми машинами, но это не делается потому, что поисковые машины считают это непрактичным – например, по причине стоимости или потому, что индексировать их просто бессмысленно – прогноз погоды, точное время прибытия конкретного самолета, совершившего посадку в аэропорту и т.п.

Структура Интернет-пространства

Схематично информационное пространство Интернет можно представить в виде айсберга (рисунок 1).

Верхняя часть – это тот объем информации, который доступен через обычный поисковик, нижняя часть – это тот объем информации, который скрыт от большинства пользователей. В настоящее время объемы скрытого веба сложно оценить.

Рисунок 1 – Структура информационного пространства Интернет

В связи с этим, возникает вопрос, есть ли способ попасть в скрытый Интернет? Такой способ есть. Его обеспечивает сеть TOR (сокращение от The Onion Router). Это гибридная анонимная сеть, построенная по принципу «луковой маршрутизации» (зашифрованной), которая позволяет пользователям обмениваться информацией и оставаться анонимными. Многие сайты, находящиеся в скрытом вебе, имеют шифрованные имена с доменом .onion, а не привычные нам .ru или .com [2].

Схема работы TOR

Вообразим пятёрку пользователей — назовём их А, Б, — проживающих в разных странах. Предположим, пользователю А понадобилась веб-страничка X, но из каких-то соображений А не желает, чтобы кто-либо об этом узнал. Он может попросить скачать страницу X пользователя Б, а потом прислать её в зашифрованном виде. Но просьбу свою передаёт не напрямую Д, а через случайную цепочку устройств. Тонкость в том, что никто не знает ни смысла просьбы, ни её автора, ни конечного адресата: они знают только адрес предыдущего и следующего узла в цепи [3]. Возникает вопрос, законно ли использовать сеть TOR? Да, можно использовать ее как привычную сеть для обеспечения своей безопасности. Скрытый интернет одновременно является надёжной защитой для благородных целей: свободы слова. Это безопасное пространство для политических активистов, журналистов и других людей, за которыми потенциально могут следить.

Вывод

Описанные причины появления скрытого Интернета и одного из способов попасть туда не претендуют на полноту. Основная цель, которую преследовал автор – привлечение внимания к данной теме, т.к. вопрос управления скрытыми информационными ресурсами все еще остается открытым.