root
|-- id: integer (nullable = true)
|-- date_rep: date (nullable = true)
|-- updated_date: timestamp (nullable = true)
|-- user_type: string (nullable = true)
|-- p_years: integer (nullable = true)
|-- p_months: integer (nullable = true)
|-- p_days: integer (nullable = true)
|-- p_dates: date (nullable = true)
|-- sys_updated_by: string (nullable = true)
|-- sys_updated_time: timestamp (nullable = true)
|-- years: string (nullable = true)
|-- months: string (nullable = true)
|-- days: string (nullable = true)
|-- dates: string (nullable = true)

было не то поле выбрано ((( всё работает

Всем привет.
Подскажите пожалуйста, возможно ли в спарке указать список конкретных хостов ярна, которые он может использовать?

можно попробовать использовать node labels

но это ещё доп настройки со стороны ярна нужны

те просто в конфиге не прописать?

Ты можешь только драйверу указать году, не более

Ну, или, как сказали выше, настроить в ярне очередь на конкретные ноды и сабмитить в эту очередь

Хай гайз. А можете подсказать, спарк можно запускать не на edge-node? Если да, то не поделитесь ли гайдом, или где почитать про это. 🙏

Если master: yarn, то нельзя

А в cluster mode разве нельзя?

кластер мод юзай он выберет драйвер сам на одной из нод кластера

Да можн хз

Спасибо

Мы трафик снижать не можем.

Подскажите, пожалуйста где нужно указывать параметр Rdd.partitions().size() чтобы распараллелить процесс на несколько  нод?

ну если ты плохо прочитал / надо партицирование поменять то .repartition

Боты чёт дикие