spark.driver.* относится, очевидно, к драйверу

Коллеги, всем привет. Кто нибудь сталкивался с вычитыванием большого объёмаема данных, когда на кластере допустим 512гб памяти 1тб места уровень репликации 1. Джоиню две таблички по 1тб каждая кластер ложится. Куда копать?

Hi,
Anyone has experience with Redis and Spark?
I am using "Jedis Pool" for key lookup and key update. But sometimes the program stuck in a stage and threads block waiting for connection.
Any suggestion for a Redis client good for Spark? I use Scala.

—

Здравствуй,
У кого-нибудь есть опыт работы с Redis и Spark?
Я использую «Пул джедаев» для поиска и обновления ключей. Но иногда программа застревает в стадии и потоки блокируются в ожидании подключения.
Есть какие-нибудь предложения по клиенту Redis, подходящему для Spark? Я использую Scala.

а https://github.com/RedisLabs/spark-redis не подходит? можно пользоваться как минимум как вдохновлением для своего велосипеда если надо

Спасибо, Грегори
Я использую его для записи / чтения всего RDD.
Могу ли я использовать его для поиска по одному ключу и записи по одному ключу? скажем для каждого раздела.

о, все я понял тебя;
хм непонятно а как у тебя подвисает? попробуй засетить setMaxWaitMillis может айдлы отваливаются какие
я помню раньше это была проблема jedis

Why don't you folks speak in English? Looks like it might me easier for both parts

хз он по русски пишет и имя на русском, может хочется автору

так конечно пусть на любом языке пишет каком удобнее

I think they speak French in Philadelphia))

they call it philadelphian

Коллеги, а никто не настраивал динамическое распределение ресурсов для SPARK на YARN (все ванильное). Включаю spark-defaults.conf, как пишет Cloudera и задача выполняется бесконечно.

Sorry. I know Russian very little and lost the motivation to learn more. but sometimes explore Russian communities.
Anyways it is a Rus chat and I respect it.
I am okay in using a translator, so be at ease.

I will try it. I already set the MaxIdle and MaxTotal to 8000!
I use different datasets and I face this problem everytime.

how about setting it to 500ms?

I don't have a accurate number. but this happens. stuck at a stage.

I change them to a higher value, but it fix temporary.
Someone suggested me to use Lettuce Async client.

На кластере 1ТБ места
Джойнишь 2 таблички по 1ТБ?

Может 1ПБ?