Телеграмм чат группы hadoopusers страница 1557

вот прям оч интересно

22:55пожаловаться #1

я сделаю только если будет что рассказать, я быть может буду работать скоро с этим плотно; и если наработаю материала то буду

я пока могу просто рассказать почему спарки и жнай это только когда очень нужно и какие проблемы могут быть

но я бы про стрелку хотел

22:56пожаловаться #2

но из доклада про стрелку тока плохие бнчмарки готовы что стрелко коллекции достаточно хорошие

22:57пожаловаться #3

ну стрелка там жеж вроде из обычных партиций рдд делаются ArrowPartition и дальше как обычно в пайп

22:57пожаловаться #4

ну да так и есть
в целом скука
но я хотел посмотреть будет ли профит жнайный засчет дайрект копи
или хотя бы не станет хуже

22:58пожаловаться #5

а вот как часто например данные передаются когда та например rdd.map(...) в петоне делаешь - каждый элемент отдельно или партициями тоже - и куда оно там и чего - вот эти кишки лично мне оч любопытно

23:00пожаловаться #6

я просто питон не люблю

23:00пожаловаться #8

кто его любит

23:00пожаловаться #10

вон кривду заставили

23:00пожаловаться #11

он сам рад глину месить

23:00пожаловаться #12

sticker.webp

(81.14 Кб)

23:00пожаловаться #13

ну я подумаю чо можно рассказать но ток если получится; может что-то интеесное родится

23:01пожаловаться #14

Nikita Blagodarnyy in Data Engineers

Grigory Pomadchin

как мавен произноси все равно ударить хочется

Поведайте нубам, чем он плох и что заместо?

23:04пожаловаться #15

Nikita Blagodarnyy

Поведайте нубам, чем он плох и что заместо?

с ним все хорошо, он просто старый некрасивый и нужно редаткировать хмльки.

23:08пожаловаться #16

KrivdaTheTriewe in Data Engineers

Grigory Pomadchin

но из доклада про стрелку тока плохие бнчмарки готовы что стрелко коллекции достаточно хорошие

Ждём от тебя доклад и твою улыбку на большом экране !

23:21пожаловаться #17

Anton Zadorozhniy in Data Engineers

Grigory Pomadchin

с ним все хорошо, он просто старый некрасивый и нужно редаткировать хмльки.

XML редактировать вообще гораздо удобнее чем не XML 🙂 наверное нужно сказать что сложности в расширении его, плагин написать не каждые сдюжит, а в остальном он прекрасен как лейка м6: простой, надежный, уже передается от отцов детям)

23:24пожаловаться #18

Anton Zadorozhniy in Data Engineers

вообще крутые доклады, видно все люди с опытом! жалко далеко

23:25пожаловаться #19

Anton Zadorozhniy in Data Engineers

позабавил момент с minio, архитектор в команде явно "не боится новых вызовов", как учат говорит на курсах повышения толерантности)