a
10к за час - выглядит как последовательное выполнение. Если просто в пул потоков закинуть задачи?
Size: a a a
2021 September 28
a
а, распараллеленные
DL
выглядит, но не последовательное, пробовал параллельно тягать мелкие файлы с одного домена - всё ок, с разных - затык, кровь кишки, куча TIME_WAIT итп
KR
Делай асинхронно ^^
a
кончаются исходящие порты? какие нибудь ограничения на количество tcp коннекций мб
DL
портов с запасом(максимум было около ~1000 исходящих), до ограничений на количество тоже далеко
ST
с локальной машины или с сервера?
DL
я с локальной, но на сервере, говорят, та же фигня
ST
если про clj-http, то там есть дефолты на количество одновременных соединений вообще и на один хост в частности
если ты это не настраивал, то может быть всё, что угодно
если ты это не настраивал, то может быть всё, что угодно
ST
я всегда :http-client и :conn-mgr указываю явно, не готов сказать, какие там умолчания
ST
для :conn-mgr у меня дефолты такие
{:threads 500
:default-per-route 100}VP
Если есть много TIME_WAIT, то, вероятно, сокеты с лагом закрываются, и не успевают освобождаться для следующего запроса. т.е. можно поглядеть в сторону socket reusing.
VP
можно погуглить SO_REUSEADDR, вроде из этой темы. и setsockopts
AP
а если запросы к dns заранее закешировать?
ST
это может быть и ожидание свободного коннекта из пула, если говорить про clj-http
AP
а что вообще tcpdump показывает в процессе?
a
если clj-http это обертка над apache http client, то да, там есть всякие параметры типа maxTotal и тд
a
tcpdump наверно сложно будет смотреть на 10к адресов
a
можно какой нить visualvm глянуть чо потоки делают
VP
Вот диаграмма жизненного цикла TCP: