Size: a a a

2020 April 01

РП

Роман Пашкевич in Data Engineers
админ убил процессы в состоянии sleep с потерянным подключением к терминалу - т.е. не имеющие никаких шансов на возобновление работы.
источник

РП

Роман Пашкевич in Data Engineers
А это я так понимаю еще "живые" но висят по 4 дня.
источник

DZ

Dmitry Zuev in Data Engineers
Зомби ничего не жрут
источник

РП

Роман Пашкевич in Data Engineers
Я вообще далек от линукса и админства. Но "засирать" ноду не могу по вероисповеданию)
источник

РП

Роман Пашкевич in Data Engineers
вывел %mem и %cpu - жрут в основном java
источник
2020 April 02

DS

Demidov Sergey in Data Engineers
источник

AS

Andrey Smirnov in Data Engineers
Роман Пашкевич
вывел %mem и %cpu - жрут в основном java
добавь параметр f, какие будут пути, может это ошметки от zeppelin
источник

ME

Mikhail Epikhin in Data Engineers
Dmitry Zuev
как льете в кх?
я не пользовался но видел такой проект https://github.com/DmitryBe/spark-clickhouse
источник

DZ

Dmitry Zuev in Data Engineers
Тоже видел, но там даже пакета нет.
Все решилось обычным jdbc. Но медленно, вот думаю как ускорить
источник

ME

Mikhail Epikhin in Data Engineers
А что именно медленно? Что тормозит?
источник

ME

Mikhail Epikhin in Data Engineers
Число партиций, я так понимаю, уже крутили?
источник

DZ

Dmitry Zuev in Data Engineers
Загрузка. Мне надо заливать где-то 80кк строк
источник

ME

Mikhail Epikhin in Data Engineers
А, большие батчи?
источник

DZ

Dmitry Zuev in Data Engineers
Вот кручу
источник

ME

Mikhail Epikhin in Data Engineers
CH же любит пожирнее, чтобы по 1-10К было на вставке
источник

DZ

Dmitry Zuev in Data Engineers
На дефлтном 1к оч медленно
источник

АЖ

Андрей Жуков in Data Engineers
А чо бы не из паркетов кликом?
источник

АЖ

Андрей Жуков in Data Engineers
он их бодро всасывает
источник

DZ

Dmitry Zuev in Data Engineers
Андрей Жуков
А чо бы не из паркетов кликом?
Вот тоже думаю. Но у меня нет хдфс
источник

DZ

Dmitry Zuev in Data Engineers
Костылить если ток
источник