В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2017 April 23

MG

Maverick GRey in Data Engineers
мне бы удобно
источник
20:52пожаловаться#1

MG

Maverick GRey in Data Engineers
чтоб абстакции были повыше
источник
20:53пожаловаться#2

NK

ID:1373407 in Data Engineers
http://stackoverflow.com/questions/31341498/save-spark-dataframe-as-dynamic-partitioned-table-in-hive
Stack Overflow
Save Spark dataframe as dynamic partitioned table in Hive
I have a sample application working to read from csv files into a dataframe. The dataframe can be stored to a Hive table in parquet format using the method
df.saveAsTable(tablename,mode).

The ab...
источник
20:53пожаловаться#3

NK

ID:1373407 in Data Engineers
http://stackoverflow.com/questions/40267953/hive-on-spark-list-all-partitions-for-specific-hive-table-and-adding-a-partition
Stackoverflow
Hive on Spark list all partitions for specific hive table and adding a partition
I am using spark 2.0 and I was wondering ,Is it possible to list all files for specific hive table? If so, I can incrementally update those files directly using spark sc.textFile("file.orc")
.
How ...
источник
20:53пожаловаться#4

NK

ID:1373407 in Data Engineers
Но, насколько помню, там были заморочки и останется только методом проб и ошибок всё разрешать
источник
20:53пожаловаться#5

MG

Maverick GRey in Data Engineers
DataFrame - туповат. Полагается на порядок полей, а не на имена.
источник
20:56пожаловаться#6

MG

Maverick GRey in Data Engineers
И это напрягает.
источник
20:56пожаловаться#7

MG

Maverick GRey in Data Engineers
Ну да ладно. Нет, дак нет.
источник
20:59пожаловаться#8

MG

Maverick GRey in Data Engineers
Будем сами писать.
источник
20:59пожаловаться#9
2017 April 24

D

Dmitry in Data Engineers
тестирую Спарк. наткнулся на такой баг
источник
17:31пожаловаться#10

D

Dmitry in Data Engineers
https://issues.apache.org/jira/browse/SPARK-13747
источник
17:31пожаловаться#11

D

Dmitry in Data Engineers
у кого-то были такие проблемы? как с этим жить?)
источник
17:31пожаловаться#12

t

tenKe in Data Engineers
запустил на кластере 1.6.2 - подобной ошибки нет
источник
19:10пожаловаться#13

NK

ID:1373407 in Data Engineers
Со спарком всегда магия пока  что
источник
19:11пожаловаться#14

t

tenKe in Data Engineers
пол года гдето используем спарк - все достаточно стабильно :)
источник
19:16пожаловаться#15

NK

ID:1373407 in Data Engineers
tenKe
пол года гдето используем спарк - все достаточно стабильно :)
к 1.6  да,  но всё равно есть некоторые подводные камни :)
источник
19:20пожаловаться#16

t

tenKe in Data Engineers
вероятно поэтому 2.0 только в tech preview в HDP
источник
19:24пожаловаться#17

NK

ID:1373407 in Data Engineers
tenKe
вероятно поэтому 2.0 только в tech preview в HDP
ну у  меня на предыдущем проекте пользуются версией 2.0 наверное с ноября-декабря из hdp
источник
19:27пожаловаться#18

NK

ID:1373407 in Data Engineers
http://www.datascience.in.ua/
datascience.in.ua
DataScience Lab
Конференция по практическому применению науки о данных
источник
19:34пожаловаться#19

D

Dmitry in Data Engineers
Попробую даунгрейднуть спарк и перетестить
источник
19:53пожаловаться#20