YB
Черт, это такой костыль но может действительно взлететь чисто за счёт достаточно низкого рейта ошибок.
Size: a a a
2019 December 06
YB
Но мне как-то даже не верится, что это нормально катит даже на хорошей сети. Не по порядку приходящие удп это же вообще нормально.
YB
Они даже отсылаться не по порядку могут.
YB
Одна из опробованных мной тулз говорила что-то про 0.1% еррор рейт удп.
YB
В смысле, насчитала такой.
A.
я там кстати только что ошибку поправил. забыл -u на получаетеле
Ага, спасибо
YB
Yanis Benson
Окей, попробовал цунами. Листинг файлов руками(в моем случае только листинг занимает 90 мегабайт, есичо), потом дампается тебе на экран, что особо приятно. Процесс передачи рестартует для каждого файла (начиная с низкой скорости), но это можно подтюнить возможно. Сходу не занял всю полосу(возможно, тоже тюнится). Вывод: похоже, оно умеет быть быстрым, но применимо(без хитрых оберток) только для малого количества (больших) файлов.
Дополнительно, если я правильно понял, там нет способа поменять точку назначения, то есть пути в исходнике и в результате совпадают, и папки надо создавать самому.
YB
Yanis Benson
Ну, сеть норм, хоть и далёкая
Tar: skipping to next header сыпятся раз в секунду, общий поток, который записывается (без учёта ошибок внутри, которые наверное есть) - порядка 100кб/секунду
YB
Так что не, не катит. Возможно, на лучших сетях прокатит.
@
Пошарить нгинксом с автоиндекмом и запустить вгет?
@
Многопоточно
@
Тисипи
@
Быстро
YB
А вгет умеет рекурсивные индексы с рекурсивной многопоточностью?
YB
Потому что там полный(рекурсивный) индекс сам по себе считается минуту.
@
Yanis Benson
А вгет умеет рекурсивные индексы с рекурсивной многопоточностью?
Он для этого и создан
@
А не чтоб отдельные файлы качать
YB
Надо гуглить, как это конфигурить, но если честно на этом этапе проще уж будет сразу руками индекс собрать, поделить на куски и для каждого куска рсинк запустить параллельно.
YB
Но вообще вдт отлично себя показал. Все из коробки, никаких чертыханий, вот только эти странные остановки починить надо.
m
там конфигурить - указать флаг -r