Телеграмм чат группы hadoopusers страница 4388

Size: a a a

Data Engineers

3187 membersпожаловаться на группу

2021 October 21

tenKe in Data Engineers

E T in Data Engineers

йо, dropna разный shape возвращает в pandas И spark.
test_df = compustat_df.dropna(subset=('at','prcc_c','ni')) - строчка в спарке
print("size is : {}".format((test_df.count())))
# size is : 347247

pd_df.dropna(subset=['at','prcc_c','ni']).shape

# size is : 412771

источник

15:24пожаловаться #2

ЕГ

Евгений Глотов... in Data Engineers

А в спарке сабсет разве не просто через запятую?

источник

15:28пожаловаться #3

ЕГ

Евгений Глотов... in Data Engineers

В самой функции без указания параметра

источник

15:29пожаловаться #4

E T in Data Engineers

subset : str, tuple or list, optional
optional list of column names to consider.

источник

15:30пожаловаться #5

E T in Data Engineers

Может он как-то по-разному воспринимает nans/ nulls и прочее

источник

15:32пожаловаться #6

ЕГ

Евгений Глотов... in Data Engineers

146%

источник

15:33пожаловаться #7

ЕГ

Евгений Глотов... in Data Engineers

Есть вероятность, что None для пандаса не is na

источник

15:33пожаловаться #8

ЕГ

Евгений Глотов... in Data Engineers

Если там строка

источник

15:33пожаловаться #9

Attenuator in Data Engineers

Всем добра! Подскажите как можно решить проблему с ошибкой Import failed: java.io.IOException: Cannot run program "hive": error=2, No such file or directory. Через java приложение используя sqoop api пытаюсь поместить данные из рсубд в hive. Java приложение вне кластера hadoop, это возможно?

источник

17:55пожаловаться #10

АК

Александр Кунцевич... in Data Engineers

А сам Hive работает?

источник

18:13пожаловаться #11

АК

Александр Кунцевич... in Data Engineers

Попробуйте через beeline

источник

18:13пожаловаться #12

Anton in Data Engineers

Если вдруг пользователи будут страдать то какой остается вариант? Просто -mv из временной таблицы кажется мгновенной операцией и интуитивно не должен создавать проблем.

источник

18:52пожаловаться #13

ИК

Иван Калининский... in Data Engineers

-mc действительно быстрый, но произойдёт изменение файлов, а импала может кешировать их на уровне метаданных. И если что не так, то фейлить чтение.

Поэтому если пользователи будут недовольны прерыванием их запросов, то единственный вариант - договориться о временном окне для обновления, ночью, например.

источник

19:17пожаловаться #14

KrivdaTheTriewe in Data Engineers

Ребят, есть какие нибудь красивые презентации по бищнескнйсам трино или престо, типа как условный генерал моторс сократил выбросы газа в семьсот раз ?

источник

20:47пожаловаться #15

ИК

Иван Калининский... in Data Engineers

Пока не распознал бизнес-кейсы, думал это какой-то новейший базворд))

источник

21:31пожаловаться #16

T in Data Engineers

Попроси у ребят из старбаста

источник

21:37пожаловаться #17

KrivdaTheTriewe in Data Engineers

Ребята из Старбакса дайте пожалуйста

источник

22:06пожаловаться #18

T in Data Engineers

Напиши мне в линкидын я тебе скину их сэйлов я думаю у них таких през завались

источник

22:07пожаловаться #19

2021 October 22

Dmitry in Data Engineers

а есть тут кто с databricks и jar возившихся ? как зачистить кластер после запуска джара ? я вижу что мои джарники остаются в dbfs:/FileStore/jars/ и на самом кластере /local_disk0/tmp/ и лезут в classpath. причем не спасает даже переименование джарников.

источник

10:03пожаловаться #20