IM
Size: a a a
2019 December 23
ВК
ЮФ
Владимир Калинин
есть ли возможность писать программы для MapReduce Hadoop на R?
А зачем писать map/reduce в 2019 году? Может проще Spark?
ВК
дело в том, что я только начал разбираться в теме. и мне не очень понравились java программы. и я подумал что если использовать R
ВК
до spark ещё не дошёл (
ЮФ
Боюсь что костылей на пути интеграции R и map/reduce будет больше, чем с нуля выучить Java... Да и не сильно-то сложен WordCount на Java...
C
оказалось data.table не так быстра как это рекламируют
IM
Cocos
оказалось data.table не так быстра как это рекламируют
Подробности в студию
C
Подробности в студию
по сравнению со списком присваивание строк замедляется в десятки раз
C
для миллионов строк это просто кабздец как немало
IM
Интересно, откуда такая разница?
C
ну вот откуда мне знать , а если воспользоваться не готовым массивом data.table , а увеличивать колличество его строк с помощью rbind (другого способа не нашёл ) , то процесс вообще уходит в бесконечность
A
Cocos
ну вот откуда мне знать , а если воспользоваться не готовым массивом data.table , а увеличивать колличество его строк с помощью rbind (другого способа не нашёл ) , то процесс вообще уходит в бесконечность
не надо так делать
A
Cocos
по сравнению со списком присваивание строк замедляется в десятки раз
как можно присваивание строк (процесс) сравнивать со списком (структурой данных)?
IM
Да, неплохо бы посмотреть на кусочек кода с демонстраций
A
думаю, минимальный воспроизводимый пример расставит все по своим местам
A
у меня десятки миллионов строк джойнятся, фильтруются, группируются и присваются через
:= очень даже быстроPU
зуб даю, товарищ делает rbind в цикле
IM
у меня десятки миллионов строк джойнятся, фильтруются, группируются и присваются через
:= очень даже быстроА что за проект с десятками миолионов строк, если не секрет?
PU
да любой проект, это же мелочи