AZ
Думаю вы шутите, но я в своей практике понаписал всяких таких утилит на го, эрланге, плюсах; когда явно задача против шерсти хадуперскому стеку выигрыш может быть большим
Size: a a a
2021 September 08
AZ
И не через пайп, вы можете гошечкой достать разные части файла из объектного стораджа
Д
Нет, я не шучу, действительно я понимаю что будет быстрее. И действительно я оставил это на последний шанс.
Д
Я имел ввиду rdd.pipe.
Д
Даже в сторадж не ложить.
Д
Хотя с pipe косяк, если файл zip будет больше 2GB, то rdd может сломаться, так как размер блока шафла до 2GB.
AZ
Я бы записал кусочки с максимальным параллелизмом в спарке, а потом запускал монолитную выгружалку (ещё и на отдельной очень быстрой по CPU/IO эдж ноде)
AZ
Писал когда-то на го обстукивалку многих экземпляров ПГ, чтобы scoop не дергать, был большой успех
Д
Да сейчас так и сделано, параллелизм обработки высокий, это уже не горлышко, а вот зиповалка это да. Пред ней приходится собирать все в одну партицию, но это быстро. А потом пихать в поток zip. это пока самое тонкое место.
Д
@dartov А за go спасибо, возьму на зиму для изучения 👍
2021 September 09
T
Привет чат,
Накидайте пожалуйста книг, видео, статей по флинку которые вам понравились
Накидайте пожалуйста книг, видео, статей по флинку которые вам понравились
А
Hah, fake?)
Удалите если fake:)
Удалите если fake:)
OI
это фишинг
N
Не, ты че, чистая правда.
OI
у меня так друг разбогател
А
😄😄😄
N
Елон?
AZ
Виталик наверное
ЕГ
А комбот умеет картинки сравнивать и удалять?