Агентство по перспективным оборонным научно-исследовательским разработкам США (DARPA) в течение последнего года активно работает над созданием поисковой машины, индексирующей "скрытый" Интернет. "Теневой Google" призван обеспечивать соблюдение законов даже в самых отдаленных уголках Сети.
"Темный" Интернет (дарквеб) — это области Интернета, которые не индексируются традиционными поисковиками. Зачастую доступ к ним можно получить только при помощи специальных программ-анонимайзеров. Помимо всего прочего, в дарквебе ведется торговля наркотиками, оружием, запрещенной порнографией, крадеными данными. Традиционные поисковики индексирует всего лишь около 5 процентов контента в Интернете, остальное приходится на "скрытые" данные, что не позволяет силовым ведомствам вести полноценную работу.
Данная ситуация должна измениться после того, как будет завершен проект Memex, над которым по заказу правительства США сейчас трудятся 17 независимых команд разработчиков. Новый поисковик охватит зоны традиционного Интернета, которые игнорируются коммерческии поисковиками. Более того, одним из основных направлений для работы Memex будет индексация сети Tor и всех сайтов в зоне .onion. Разработчики оценивают их количество в 30-40 тысяч.
Поисковик должен не только автоматически находить и индексировать "скрытые" сайты, но и распознавать связи, которые имеются между различными ресурсами. Такая информация может стать неоценимой для служителей закона. Конечная стоимость разработки нового проекта должна составить 10-20 миллионов долларов.
"Большинство пользователей делают в Сети хорошие вещи. Но там также живут паразиты: мы отнимаем у них возможность использовать Интернет против нас и делаем мир лучше", — отметил в комментарии для издания Wired глава проекта Крис Уайт