PI
postgres
Size: a a a
2019 July 03
PI
Attunity Replicate отпадает, походу платный
DP
Привет, есть офф пример:
streamingDataFrame.selectExpr("CAST(id AS STRING) AS key", "to_json(struct(*)) AS value").
writeStream
.format("kafka")
.option("topic", "topicName")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("checkpointLocation", "path to your local dir")
.start()
не понятно почему Kafke не хватает лишь value , зачем нужен и key (и где его взять если нету в DataFrame)
streamingDataFrame.selectExpr("CAST(id AS STRING) AS key", "to_json(struct(*)) AS value").
writeStream
.format("kafka")
.option("topic", "topicName")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("checkpointLocation", "path to your local dir")
.start()
не понятно почему Kafke не хватает лишь value , зачем нужен и key (и где его взять если нету в DataFrame)
DP
хотя наверно можно его загенерировать
AS
Привет, есть офф пример:
streamingDataFrame.selectExpr("CAST(id AS STRING) AS key", "to_json(struct(*)) AS value").
writeStream
.format("kafka")
.option("topic", "topicName")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("checkpointLocation", "path to your local dir")
.start()
не понятно почему Kafke не хватает лишь value , зачем нужен и key (и где его взять если нету в DataFrame)
streamingDataFrame.selectExpr("CAST(id AS STRING) AS key", "to_json(struct(*)) AS value").
writeStream
.format("kafka")
.option("topic", "topicName")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("checkpointLocation", "path to your local dir")
.start()
не понятно почему Kafke не хватает лишь value , зачем нужен и key (и где его взять если нету в DataFrame)
key нужен для детерминированного распределения по партициям в топике
DP
key нужен для детерминированного распределения по партициям в топике
пока сделал так: $"id".set(monotonically_increasing_id)
AB
key нужен для детерминированного распределения по партициям в топике
тогда другой вопросик:
у нас есть DataFrame c 1000 строками..
ID ведь не должен быть уникальным?? Ведь, в таком случае мы будем иметь оч много partitions? Должно быть что-то вроде:
ID; VALUE
12/2018; {name=bla-1}
12/2018; {name=bla-2}
12/2019;{name=bla-3}
В таком случае первые 2 строки пойдут в один партитион, а 3-я строка в другой?
у нас есть DataFrame c 1000 строками..
ID ведь не должен быть уникальным?? Ведь, в таком случае мы будем иметь оч много partitions? Должно быть что-то вроде:
ID; VALUE
12/2018; {name=bla-1}
12/2018; {name=bla-2}
12/2019;{name=bla-3}
В таком случае первые 2 строки пойдут в один партитион, а 3-я строка в другой?
AS
пока сделал так: $"id".set(monotonically_increasing_id)
как вариант, только учти что monotonically_increasing_id он не монотонный, точнее монотонный внутри только партиции, между партициями будет прыгать
AS
тогда другой вопросик:
у нас есть DataFrame c 1000 строками..
ID ведь не должен быть уникальным?? Ведь, в таком случае мы будем иметь оч много partitions? Должно быть что-то вроде:
ID; VALUE
12/2018; {name=bla-1}
12/2018; {name=bla-2}
12/2019;{name=bla-3}
В таком случае первые 2 строки пойдут в один партитион, а 3-я строка в другой?
у нас есть DataFrame c 1000 строками..
ID ведь не должен быть уникальным?? Ведь, в таком случае мы будем иметь оч много partitions? Должно быть что-то вроде:
ID; VALUE
12/2018; {name=bla-1}
12/2018; {name=bla-2}
12/2019;{name=bla-3}
В таком случае первые 2 строки пойдут в один партитион, а 3-я строка в другой?
как повезет, могут и в одну попасть, но с одинаковыми ключами попадут всегда в одну
A
@andreiboaghe
по умолчанию партишионер hash(key) % num_partitions
можно настроить RoundRobin, но тогда одинаковые ключи окажутся в разных партициях
ну или свой веселый партишинер проставить
по умолчанию партишионер hash(key) % num_partitions
можно настроить RoundRobin, но тогда одинаковые ключи окажутся в разных партициях
ну или свой веселый партишинер проставить
AB
спасибо))
PK
Всем привет! Пришло время планировать Moscow Spark #8, в связи с чем объявляется call for talks. Если у вас есть, что поведать про ваши кейсы использования Apache Spark сообществу, милости прошу в личку!
EV
Привет, подскажите пожалуйста какой параметр дергать в ярне, чтобы изменить это поведение? В кластере ресурсы еще есть, но джобы в очередь выстроились.
Application is added to the scheduler and is not yet activated. Queue's AM resource limit exceeded.
A
по умолчанию fair шедулер создает по очереди на каждого нового покемона
A
следовательно пока у тебя 2 пользователя и они явно не указывают очередь, то кластер поделил лимиты на двоих
A
через какое-то время у тебя 25 пользователей попользовалось ими в разный период и ресурсы порезались на всех
A
даже если в текущий момент может быть быть один пользователь, то ему чуть больше 1/25 от кластера будет доступно
A
открой настройки шедулера и его очереди
A
{rm_url}/ui2/index.html#/yarn-queues/root
или
{rm_url}/cluster/scheduler
на ресурсменеджере и посмотри как очереди распределены и заполнены
или
{rm_url}/cluster/scheduler
на ресурсменеджере и посмотри как очереди распределены и заполнены