A
а возможно результаты уходят на переобучение моделек к датасантистам
Size: a a a
2020 April 05
ME
От задачи зависит, которая стоит перед ETL
ME
От вопроса: зачем оно вообще надо
A
От вопроса: зачем оно вообще надо
сейчас придём сообществом к выводу что “ETL не надо"
ME
сейчас придём сообществом к выводу что “ETL не надо"
Иногда можно написать python скриптик 😂
ME
Не даром в aws glue сделали python shell джобы рядом со спарком
A
*всегда можно написать bash скриптик, а python скриптик это если слишком много данных уже
АС
Можно датафреймы в виде кубиков обратно залить в реляционки, можно в паркет и хадуп/s3, можно екселек нагенерить 🙂
Что значит в виде кубиков? И что такое паркет?
A
А вы точно писатель etl?
:)
:)
OA
АС
А вы точно писатель etl?
:)
:)
я только начал)
АС
чем конвернуть юникс тайм в таймштамп?
2020 April 06
С
Гугл?
С
Хм, нашёл в первой поисковой ссылке
С
П
Здравствуйте.
Я только начала разбираться с Hadoop и у меня есть вопрос по поводу типов данных для MapReduce. Мне нужно в качестве входных данных направить mapper'у кортеж, подскажите какой тип данных для этого нужно указывать? Я пишу на Java.
Я только начала разбираться с Hadoop и у меня есть вопрос по поводу типов данных для MapReduce. Мне нужно в качестве входных данных направить mapper'у кортеж, подскажите какой тип данных для этого нужно указывать? Я пишу на Java.
AB
Полина привет, в java помоему вообще нет кортехей насколько помню) есть мнение что может лучше на джаве вообще не писать уже раз занялись биг дато)
A
А на чем писать?