N
Без индекса он бесполезен в основном
Size: a a a
2019 March 20
PK
Nikolay
Нестед луп ест в базах. Обычно в нем используется индекс.
Ну он квадратичный, но, зато, универсальный.
DG
По формату, это скорее не hash map, а columnar storage с отимизациями, типа пуш даун предиката, которые "вшиты" в код через кодогенерацию. По крайней мере, я так это понял когда ковырялся со сгенеренным кодом (искал баг).
2019 March 21
GP
Евгений Глотов
А что, тунгстен до сих пор существует? Он разве не превратился в каталист?
Каталист это деревьев оптимайзер
N
Подскажите. Можно ли а json сделать inferschena не по всему документу, а только по его части ?
EN
Nikolay
Подскажите. Можно ли а json сделать inferschena не по всему документу, а только по его части ?
N
А на скале также ?
EN
конечно, просто укажи в ридере option samplingRatio
https://raw.githubusercontent.com/apache/spark/master/sql/core/src/main/scala/org/apache/spark/sql/DataFrameReader.scala
https://raw.githubusercontent.com/apache/spark/master/sql/core/src/main/scala/org/apache/spark/sql/DataFrameReader.scala
N
Спасибо
2019 March 22
N
Есть файл json. 3g.падает обработка c out of memory.
N
Подскажите. Может как то можно его одним воркером?
AI
Мало инфы. В какой формат сохраняешь? Какие трансформации применяешь? Размер объектов в json примерно одинаков или есть крупные выбросы? Если разбить на 10 файлов, то по отдельности все выполнятся?
N
Есть файл. Формат json. Весит 3гига. Обрабатывается одним воркером. Падает по нехватке памяти
AI
Это ни о чем не говорит. У меня csv на 200 гигов обрабатывался одним воркером.
ЕГ
Может он гзипованный 3гб весит?
ЕГ
Тогда на распаковке упадёт
AI
Я и говорю, что мало инфы. Тут на кофейной гуще можно гадать.
2019 March 26
Sa
Всем привет, подскажите пожалуйста, где можно взять structure streaming source Cassandra
t
Самому писать надо, нет такого :)
2019 March 27
Sa
Благодарю)