Size: a a a

2020 January 29

K

KrivdaTheTriewe in Data Engineers
или 30
источник

AE

Alexey Evdokimov in Data Engineers
нет.

писать код — вообще не цель. цель решать задачи. а код лишь средство
источник

K

KrivdaTheTriewe in Data Engineers
вот именно
источник

K

KrivdaTheTriewe in Data Engineers
просто вы явно дублировали то. что уже изобретено
источник

AE

Alexey Evdokimov in Data Engineers
ты сейчас без контекста рассуждаешь, я тоже так могу, но не стану
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
просто вы явно дублировали то. что уже изобретено
это ты как к такому выводу пришел?
источник

GP

Grigory Pomadchin in Data Engineers
@workales добавь хедеры в файлы с кодом с лицензией) может пригодиться
источник

AE

Alexey Evdokimov in Data Engineers
добавлю, да
источник

AE

Alexey Evdokimov in Data Engineers
но уже не сегодня. сегодня я капец усталь.
источник

GP

Grigory Pomadchin in Data Engineers
автоматизированые тулы которые проверяют совместимость лицензий требуют почти все это
источник

GP

Grigory Pomadchin in Data Engineers
: D гц
источник

ПФ

Паша Финкельштейн in Data Engineers
KrivdaTheTriewe
писать на  джаве спаркокод такое себе удовольствие
К этому быстро привыкаешь, я проводил эксперимент. Да, не так красиво как на скале потому что бойлерплейт, но в принципе то же самое
источник

λ

λoλdog in Data Engineers
Да к чему угодно можно привыкнуть, даже к го.  Но стоит ли оно того
источник

P

Pavel in Data Engineers
λoλdog
Да к чему угодно можно привыкнуть, даже к го.  Но стоит ли оно того
У нас один новый проект на го чуваки написали за хер пойми каким-то хером. Дичайший рпс, в пиках до 10.
источник

λ

λoλdog in Data Engineers
10к или просто 10 ?
источник

P

Pavel in Data Engineers
λoλdog
10к или просто 10 ?
Просто, 10
источник

A

Alex in Data Engineers
> Но из MapReduce много производительности не выжмешь, потому что маппер читает данные из HDFS и записывает их обратно, а следущий в цепочке редюсер делает то же самое, и так пока все шаги не закончатся.

нет-нет-нет
в каждой статье про hadoop одна и таже ошибка

мэпер пишет на локальный диск
а редьюсер стучится в tasktracker и запрашивает данные, количество тредов на отдачу настраивается

спарк работает точно так же, записали на диск и poll со стороны следующего шага
вот только сейчас подумывают выгружать вывод мепера в какой distributed storage
источник

P

Pavel in Data Engineers
Alex
> Но из MapReduce много производительности не выжмешь, потому что маппер читает данные из HDFS и записывает их обратно, а следущий в цепочке редюсер делает то же самое, и так пока все шаги не закончатся.

нет-нет-нет
в каждой статье про hadoop одна и таже ошибка

мэпер пишет на локальный диск
а редьюсер стучится в tasktracker и запрашивает данные, количество тредов на отдачу настраивается

спарк работает точно так же, записали на диск и poll со стороны следующего шага
вот только сейчас подумывают выгружать вывод мепера в какой distributed storage
Блаблабла с утра😒
источник

Y

Yuriy in Data Engineers
Всем привет)
источник

A

Alex in Data Engineers
в фазе map-reduce
map пишет на локал
reduce на hdfs как финал приложения
источник