В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 October 05

DL

Dmitry Listkov in Data Engineers
mapred streaming \
       -D mapred.reduce.tasks=1 \
       -D mapred.output.compress=true \
       -D mapred.compress.map.output=true \
       -D mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec \
       -input /user/hadoop/mapreduce/input \
       -output /user/hadoop/mapreduce/archive \
       -mapper /bin/cat \
       -reducer /bin/cat
источник
14:24пожаловаться#1

DL

Dmitry Listkov in Data Engineers
так объединяю файлы
источник
14:24пожаловаться#2

DL

Dmitry Listkov in Data Engineers
mapred streaming \
   -D stream.map.input.ignoreKey=true \
   -file $MAPPER_FILE \
   -file $REDUCER_FILE \
   -mapper $MAPPER_FILE \
   -reducer $REDUCER_FILE \
   -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat \
   -inputreader "StreamXmlRecordReader,begin=<html,end=</html>" \
   -numReduceTasks 1 \
   -input $INPUT_DIR \
   -output $OUTPUT_DIR
источник
14:24пожаловаться#3

DL

Dmitry Listkov in Data Engineers
а так уже обрабатываю
источник
14:25пожаловаться#4

DL

Dmitry Listkov in Data Engineers
на выгоде html некорректный(
источник
14:25пожаловаться#5

ПФ

Паша Финкельштейн in Data Engineers
Смотрите чо нафигачил:
https://gist.github.com/asm0dey/068fb783eaf4c21cd3b14df7ee5d99ee
Gist
KSpark.kt
GitHub Gist: instantly share code, notes, and snippets.
источник
23:56пожаловаться#6

ПФ

Паша Финкельштейн in Data Engineers
На котлине под спарк можно писать приятнее чем на джаве
источник
23:57пожаловаться#7

DM

Daniel Matveev in Data Engineers
Паша Финкельштейн
На котлине под спарк можно писать приятнее чем на джаве
главное чтоб ты счастлив был
источник
23:57пожаловаться#8

ПФ

Паша Финкельштейн in Data Engineers
Ну я так, развлекаюсь. Потому и счастлив )
источник
23:57пожаловаться#9

ПФ

Паша Финкельштейн in Data Engineers
Вряд ли это можно взять и затащить в прод вот так вот просто )
источник
23:58пожаловаться#10
2019 October 06

В

Вадим in Data Engineers
Паша Финкельштейн
На котлине под спарк можно писать приятнее чем на джаве
а что со скалой не так?
источник
13:18пожаловаться#11

ПФ

Паша Финкельштейн in Data Engineers
Вадим
а что со скалой не так?
Да не, всё так со скалой. Но котлин мне конечно же больше нравится
источник
13:18пожаловаться#12

В

Вадим in Data Engineers
Паша Финкельштейн
Да не, всё так со скалой. Но котлин мне конечно же больше нравится
чем, если не секрет? Котлин - беттер жава. Все то же есть в скала
источник
13:19пожаловаться#13

В

Вадим in Data Engineers
мб я не знаю чего то
источник
13:19пожаловаться#14

DM

Daniel Matveev in Data Engineers
давайте свернем этот офтоп сразу
источник
13:21пожаловаться#15

В

Вадим in Data Engineers
Daniel Matveev
давайте свернем этот офтоп сразу
тут так нельзя? Ну ок
источник
13:21пожаловаться#16

ПФ

Паша Финкельштейн in Data Engineers
Вадим
чем, если не секрет? Котлин - беттер жава. Все то же есть в скала
Я тебе в личку напишу
источник
13:21пожаловаться#17

DM

Daniel Matveev in Data Engineers
Паша Финкельштейн
Я тебе в личку напишу
👍
источник
13:21пожаловаться#18

EV

Eduard Vlasov in Data Engineers
Привет ребятки!
Сталкивались ли вы с задачей возврата результатов работы некой модели обратно в продукт или связанные с ним тулы типа CRM, как решали?
источник
19:53пожаловаться#19

RI

Rustam Iksanov in Data Engineers
Eduard Vlasov
Привет ребятки!
Сталкивались ли вы с задачей возврата результатов работы некой модели обратно в продукт или связанные с ним тулы типа CRM, как решали?
rest, kafka
источник
20:00пожаловаться#20