YB
И вот я пробую все, что можно, для переноса файлов. (Торренты не пробую, потому что иногда файлы удаляются в реал-тайме.)
Size: a a a
2020 January 09
YB
Ну и объемы пока в районе терабайта, но в ближайшее время надо будет (на более жирной полосе уже, правда), переносить десятки терабайт.
DB
Мне кажется проще всего написать скрипт который как-нибудь разгруппирует папки по размеру и запустит rsync+gnu parallel
YB
Мне кажется проще всего написать скрипт который как-нибудь разгруппирует папки по размеру и запустит rsync+gnu parallel
Это был мое горячее решение, и оно плюс-минус сработало(хотя и обнаружились странные проседания отдельных рсинков со временем, которые лечились только их рестартом).
YB
Но я надеялся(уже нет), что в 2020 это можно сделать без хитрых скриптов.
ми
мечтаю о распределенном рсинке, для балансировки нагрузки
ми
а может он это умел да я интрукцию не прочел?
YB
а может он это умел да я интрукцию не прочел?
Нет
DB
Yanis Benson
Но я надеялся(уже нет), что в 2020 это можно сделать без хитрых скриптов.
Ну я бы сначала поискал какой-нибудь софт для home-cloud, но учитывая сколько уже я вижу тут эту тему, все варианты наверняка перепробованы)
YB
Yanis Benson
Но я надеялся(уже нет), что в 2020 это можно сделать без хитрых скриптов.
Справедливости ради, одна тулза(забыл, какая), смело забила весь канал даже лучше, чем параллельные рсинки, и в одну команду, но падает, выплевывая километры совершенно непонятных логов.
ми
а нет никакой тулзы чтоб распаралелить скачивание одинаковых файлов?
DB
ну я помню в самый запуск яндекс-диск лихо сжирал вообще весь канал даже при ограничении скорости синхронизации)
интересно, как у них это реализовано
интересно, как у них это реализовано
DB
а нет никакой тулзы чтоб распаралелить скачивание одинаковых файлов?
эм, одинаковых?
YB
ну я помню в самый запуск яндекс-диск лихо сжирал вообще весь канал даже при ограничении скорости синхронизации)
интересно, как у них это реализовано
интересно, как у них это реализовано
Удп может все.
@
а нет никакой тулзы чтоб распаралелить скачивание одинаковых файлов?
типа качать с нескольких апстримов одинаковые файлы по http?
@
была такая. лет 15 назад в общаге была довольно популярная
ми
типа haproxy
ми
ну вот у меня тот же рсинк используется но он один, если б они несколько както могли между собой синхронизироваться и клиенту отдавать одновременно было бы здорово
ми
но понятно что уже почти торрент получился
YB
Вообще, я думаю запилить скрипт, который тупо соберёт все дерево, а потом будет кормить списки файлов рсинкам, без использования рсинковской рекурсии. Тогда вмешательства будут не нужны, но это такой костыль, если честно...