AA
Судя по второму тикету, возможно еще поможет
spark.conf.set("spark.sql.orc.enableVectorizedReader", "false")
Size: a a a
2019 July 05
G
Судя по второму тикету, возможно еще поможет
spark.conf.set("spark.sql.orc.enableVectorizedReader", "false")
spark.conf.set("spark.sql.orc.enableVectorizedReader", "false")
👍 спасибо большое.
2019 July 06
☭S
Привет, Коллеги! Вопрос к практикующим.
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
appName = sys.argv[1]такой конфиг можно, например, хранить в zookeeper.
spark = SparkSession.builder.appName(appName).getOrCreate()
topic_in = spark.conf.get("spark."+appName+".topic_in")
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
Народ, я вас не понимаю.... ну есть у вас кафка, в ней топиков дофига... ну, добавьте еще один, в который задания будут приходить со всей конфой... и задачи запускайте периодически, из oozie, например... задача смотрит топик конфы, если пусто - завершается. если что-то есть - запускает sparkSession и погнали
DG
Привет, Коллеги! Вопрос к практикующим.
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
appName = sys.argv[1]такой конфиг можно, например, хранить в zookeeper.
spark = SparkSession.builder.appName(appName).getOrCreate()
topic_in = spark.conf.get("spark."+appName+".topic_in")
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
Для этого мы пишем отдельные системы.
Например у еас есть конфигурация в HOCON формате. Там конфигурируется все про топик, включая какие дц, какие сервера, схема данных, валидация, какие обработчики, пути и даже функции работы с датой.
Например у еас есть конфигурация в HOCON формате. Там конфигурируется все про топик, включая какие дц, какие сервера, схема данных, валидация, какие обработчики, пути и даже функции работы с датой.
DG
Это называется метаданные.
2019 July 08
G
spark.conf.set("spark.sql.orc.enableVectorizedReader", "false")
Решает проблему некорректного времени.
Проблема именно при чтении (если я правильно понял).
Решает проблему некорректного времени.
Проблема именно при чтении (если я правильно понял).
AS
spark.conf.set("spark.sql.orc.enableVectorizedReader", "false")
Решает проблему некорректного времени.
Проблема именно при чтении (если я правильно понял).
Решает проблему некорректного времени.
Проблема именно при чтении (если я правильно понял).
Как-то радикально, скорость чтения падает, может проще хранить как long и уже потом преобразовывать в timestamp?
G
Как-то радикально, скорость чтения падает, может проще хранить как long и уже потом преобразовывать в timestamp?
Ага. Согласен. И да. Будем в логах хранить
G
Кстати может не савскм сюда. Я сталкнулся с тем, что long orc файла в hive возвращает null
2019 July 10
DG
Продолжу вопросы про stat.
dataFrame.queryExecution.analyzed.stats
Кто-нибудь знает, в какой момент данные туда попадают?
dataFrame.queryExecution.analyzed.stats
Кто-нибудь знает, в какой момент данные туда попадают?
PK
Хороший вопрос )
DG
Еще странно то что в Zeppelin у меня стата есть, а в регулярных рассчетах нет. При этом спарк одинаковый, а spark.sql.cbo.enabled = false.
DG
Возможно, он срабатывает только для примитивных запросах или для тех, где все источники данных analyzed.
DG
Ну в общем пока нет join все ок, как только join, то похоже что estimation делается тупо аля A * B * C. И конечно цифры там совершенно нереальные получаются. Типа десятки петабайт )
PK
И cbo по этим цифрам физический план выбирает?
DG
Если только сам оптимизатор включен.
Возможно, что будет адекватнее, если делать на sql, а не df api.
Возможно, что будет адекватнее, если делать на sql, а не df api.
DG
Я то хотел с помощью этой штуки написать size estimator, чтобы кол-во выходных партиций подбирать (под размер блока в HDFS).
2019 July 11
M
Всем привет. Как в IntelliJ правильно указать количество экзекьюторов при локальном тестировании spark приложения? Передаю в VM options -Dspark.executor.instances=4, но при запуске в SparkUI все равно видно, что используется один экзекьютор. При установке программно через SparkConf та же проблема.
GP
Mikhail
Всем привет. Как в IntelliJ правильно указать количество экзекьюторов при локальном тестировании spark приложения? Передаю в VM options -Dspark.executor.instances=4, но при запуске в SparkUI все равно видно, что используется один экзекьютор. При установке программно через SparkConf та же проблема.
ресурсов не хватает ему;