Size: a a a

2019 September 25

MB

Mikhail Butalin in Data Engineers
Всем добра! =)
источник

MB

Mikhail Butalin in Data Engineers
Подскажите пжлст, вследствие чего таблица hbase может перестать делиться на регионы?

У меня есть одна такая табличка в который ключ застыл на 20190924 и всё...
источник

MB

Mikhail Butalin in Data Engineers
Причём регион отожрался почти до 200ГБ и продолжает расти.
Сейчас сделал принудительно ей сплит, но как-то всё тихо и за 25 число регион не появился :(
источник

AS

Andrey Smirnov in Data Engineers
Mikhail Butalin
Подскажите пжлст, вследствие чего таблица hbase может перестать делиться на регионы?

У меня есть одна такая табличка в который ключ застыл на 20190924 и всё...
т.е. за 25 число регион есть, но там нет данных?
источник

MB

Mikhail Butalin in Data Engineers
нее, его нет вообще
источник

MB

Mikhail Butalin in Data Engineers
а 20190924 растёт
источник

AS

Andrey Smirnov in Data Engineers
Mikhail Butalin
нее, его нет вообще
пресплит надо было сделать, а если руками создать этот регион?
источник

MB

Mikhail Butalin in Data Engineers
дак сделал сплит, но всёравно тишина
источник

MB

Mikhail Butalin in Data Engineers
причём локалити региона - 1
источник

MB

Mikhail Butalin in Data Engineers
т.е. он на одном месте лежит
источник

ТС

Тимофей Смирнов in Data Engineers
привет, а кто знает, может есть чатик по Apache Druid ?
источник

MB

Mikhail Butalin in Data Engineers
запустил major_compact
источник

AS

Andrey Smirnov in Data Engineers
Mikhail Butalin
запустил major_compact
а что в логах, место на дисках есть?
источник

AS

Andrey Smirnov in Data Engineers
возможно данные льются за 24 число, ключ такой, смотрел какие последние данные в этом регионе?
источник

MB

Mikhail Butalin in Data Engineers
Кстати, да, надо попробовать посмотреть. Надо только понять как условие поставить Ж)))
источник

MB

Mikhail Butalin in Data Engineers
Но то что данные поступают за 25-е число - факт.
источник

R

Roman in Data Engineers
Всем привет! Комрады, нужна помощь. Создаю таблицу в hive формат orc. Бью на 10 бакетов с рандомным распределением. Настройки размера страйра и row group дефолтные. Когда смотрю структуру полученных файлов, вижу очень много маленьких страйплв, буквально по 5-10 тысяч записей. Некоторые страйпы гигантские, как и должны быть. Таблица 25 колонок. Значения в колонках сильно жирными не бывают. В чем может быть проблема? Почему некоторые страйпы такие маленькие?
источник

ТС

Тимофей Смирнов in Data Engineers
может кто-то с друидом работал ?
после подзагрузки данных постоянно unavaliable сегмент, помогает только выкл/вкл
Может кто-то знает нормальное решение ?
источник

RI

Rustam Iksanov in Data Engineers
Инженеры! Как безопасно сделать getValue из датафрейма(если вдруг датафрейм пустой)?
источник

N

Nikolay in Data Engineers
Добрый день, коллеги, никто не делал сравнение функциональности/производительности Azure DataFactory с другими ETL/ELT  решениям (DataStage, Informatica, Talend, etc.) ? Или, возможно есть ссылки на соответствующие статьи?
источник