По словам представителей американской разведки, около восьмидесяти процентов полезной информации приходит из общедоступных источников.
Сегодня расскажем, что такое OSINT и как получить нужную тебе информацию из открытых источников.
Кто такой?
OSINT (Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников.Ключевой целью является поиск информации, которая представляет ценность для кибербандита или конкурента. Сбор информации во многом является ключевым элементом проведения пентеста.
От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.).
- DNS-именах и IP-адресах;
- доменах и субдоменах, зарегистрированных за компанией;
- фактах компрометации почтовых адресов;
- открытых портах и сервисах на них;
- публичных эксплойтах для найденных сервисов;
- конфиденциальных документах;
- имеющихся механизмах безопасности и т.д.
Консольные инструменты
TheHarvester
TheHarvester - это целый фреймворк для сбора e-mail адресов, имён субдоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный — например, перебор имен субдоменов по словарю.Dmitry
Dmitry - еще один консольный инструмент для поиска информации об интересующих хостах.
Чтобы получить максимальное количество информации о домене указываем все ключи.
Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
WhatWeb
Многие компании имеют свой сайт, который также можно проанализировать. WhatWeb как раз идентифицирует веб-сайты. Главная задача инструмента - ответить на вопрос какие технологии использует веб-приложение. WhatWeb распознает веб-технологии, в том числе систему управления контентом (CMS), пакеты статистики/аналитики, библиотеки JavaScript, и многое другое. Имеет более 1700 плагинов, каждый из которых предназначен для распознавания чего-то одного. Также идентифицирует номера версий, email адреса, ID аккаунтов, модули веб-платформ, SQL ошибки и прочее.
TiDos
TiDos - универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. В своем арсенале имеет 5 модулей, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости (но все же не является полноценным сканером уязвимостей). Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей.Этот раздел позволяет проводить как пассивный сбор данных:
- поиск email-адресов и прочую контактную информацию в Интернете;
- информацию о домене (whois-информация);
- информацию о конфигурации DNS;
- список субдоменов;
- список подсетей и т.д.
- сбор баннеров;
- проверка файлов robots.txt и sitemap.xml;
- определение CMS;
- определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
- поиск файлов типа info.php и его возможных вариаций и т.д.
Онлайн сервисы
Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Обобщенная база таких сервисов - это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng.Поиск email
hunter - на сайте вводим название компании или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали.
Как приятный бонус доступно расширение для браузера, которое при посещении веб-сайта будет автоматически искать связанные с ним email-адреса.
mailshunt - по аналогии с предыдущим сервисом указываем домен компании и получаем список найденных учетных записей.
Найденные email-адреса можно проверить на предмет утечки на известном сервисе haveibeenpwned.com. Скомпрометированные пароли отображаться не будут, но так хотя бы можно будет разделить список адресов на "чистые" и потенциально скомпрометированные.
Whois
who.is - вводим домен компании и в ответе получаем whois-информацию, DNS-записи и т.д.
2whois — помимо получения whois-информации сервис предоставляет онлайн-сервисы nslookup, dig, анализ DNS и многое другое.
crt.sh - еще один полезный и довольно простой в использовании сервис поиска субдоменов.
Также можно воспользоваться сервисом securitytrails.com для все того же поиска субдоменов.
hackertarget - инструмент схож с предыдущими, т.к. использует в своем арсенале инструменты с открытым исходным кодом, но в этом случае набор инструментов значительно расширен, что позволяет дополнительно использовать, например, OpenVas, Nmap, Nikto, WhatWeb и т.д.
dnsdumpster.com — умеет рисовать графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.
Google Dorks
Google Dork Queries (GDQ) - это набор запросов для выявления индексируемых поисковой системой страниц. Одним словом - всего, что должным образом не спрятано от поисковых роботов.Вот небольшой список команд, которые чаще всего используются:
- site - искать по конкретному сайту;
- inurl - указать на то, что искомые слова должны быть частью адреса страницы/сайта;
- intitle - оператор поиска в заголовке самой страницы;
- ext или filetype - поиск файлов конкретного типа по расширению.
Можно ли где-то найти готовые запросы для поиска информации? - Можно. На exploit-db в разделе google hacking database.
pentest-tools - полезный ресурс для сбора информации, но в бесплатном варианте имеет множество ограничений, например, 2 сканирования в сутки. Но при этом бесплатно доступен Google Hacking, где достаточно указать домен и выбирать из предложенных вариантов поиска. Результаты поиска будут отображаться в отдельном окне
