Для ленивых

И любителей собирать грабли на неработающем эластике 😁

Как-то я уже поднимал этот вопрос, но тогда все затихло. Скажите, а кто-то решал задачку по массовому сбору whois по доменным именам? В чем проблема: сейчас использую ruby whois, т.к. там очень много парсеров ответов от разных whois-серверов. Но: 1. Чтоб получить инфу по 36К доменам (это только новые, в кэше у меня их нет) уходит часов 12, 2. Качество парсинга ruby whois все-же тоже страдает. Вот такая печальная статистика по ошибкам разбора ответов от whois.

Есть идея сделать ботнет для массового запроса whois :) - это увеличит скорость сбора инфы, но вот не улучшит качество :(

Может кто-то знает иные, актуальные и живые библиотеки для работы с whois-серверами?

"ботнет" - громкое слово ))))

В рамках криминалистики постоянно эта задача решается. Утилитами от Nirsoft.
https://www.nirsoft.net/utils/whois_this_domain.html - по урлу
- Ipnetinfo - по IP
Есть утилиты командной линии.
Вопрос массовости исключительно и хотелок в красивости представления итогов - но можно выхлоп в csv выгрузить и крутите как хотите

да, видел. Тут ребята тоже свои парсеры выхлопов от whois-серваков добавляют. Насколько у них их больше чем у ruby whois-parser. Надо поглядеть.

https://www.nirsoft.net/whois-servers.txt - как бы у них список whois-серверов с 2016 не обновлялся

попробуй RDAP :)

Что, прям всегда не работает?

Так сам обнови то

Делов там

Ну я с ним промудохался полтора дня, в итоге мисп поднял, но он криво встал. Кортекс не завелся. Надоело и раскатал традиционно.

Придется попробовать. Этот вариант я еще не тестил.

Спс, и пробовать не буду 😉

но надо иметь ввиду, что для cctld нет rdap серверов, т.е. для .vn, например, не получится сделать лукап через rdap

придется совмещать все методы :(