KS
иногда в данных бывают косяки - адовое дублирование id-шников в каком-нибудь месте
Size: a a a
2019 October 09
DA
Да в первую очередь на null. Посмотри их процент
AC
напиши, что делаешь, но скорее всего у тебя каких-то ключей сильно больше, чем других
считывается dataframe в parquet, к нему left join другого датафрейма
AC
срабатывает пара udf через selectExpr и сохраняется
KS
посчитай каунты по ключам (по которым джонийшь) и посмотри есть ли там аномалии
KS
в миру проблема назвается как "skewed data"
AC
спасибо, сейчас попробую
AA
Всем привет. Подскажите какие особенности спарка приводят к ограничениям на размере обрабатываемых данных в 1-2 тб, взял из этого видео https://youtu.be/kVnCncDMX68?t=630 (по таймингу ссылки начинает рассказывать об этом ограничении), но нифига не понятно что именно является причиной.
GP
Anton Alekseev
Всем привет. Подскажите какие особенности спарка приводят к ограничениям на размере обрабатываемых данных в 1-2 тб, взял из этого видео https://youtu.be/kVnCncDMX68?t=630 (по таймингу ссылки начинает рассказывать об этом ограничении), но нифига не понятно что именно является причиной.
видимо инженер он так себе
GP
Ну а вообще МОЖЕТ он говорит об одновременной загрузке всего в память кластера. Не знаю откуда он взял что Спарк не досчитает, но он может просто долго считать) физика долгая будет - считать в диски все, если что-то шафлить то дорогой шафл
K
Anton Alekseev
Всем привет. Подскажите какие особенности спарка приводят к ограничениям на размере обрабатываемых данных в 1-2 тб, взял из этого видео https://youtu.be/kVnCncDMX68?t=630 (по таймингу ссылки начинает рассказывать об этом ограничении), но нифига не понятно что именно является причиной.
не понимаю
K
Anton Alekseev
Всем привет. Подскажите какие особенности спарка приводят к ограничениям на размере обрабатываемых данных в 1-2 тб, взял из этого видео https://youtu.be/kVnCncDMX68?t=630 (по таймингу ссылки начинает рассказывать об этом ограничении), но нифига не понятно что именно является причиной.
а там вроде команду сменили
K
не?
AA
а там вроде команду сменили
Паззл складывается)
PK
а там вроде команду сменили
Где? В ок?
K
Где? В ок?
ну да, они же чот рассказывали , где-то в 2016-2017 , не?
PK
@dmitrybugaychenko есть что прокомментировать про видео и смену команды?
ЕГ
Ну а вообще МОЖЕТ он говорит об одновременной загрузке всего в память кластера. Не знаю откуда он взял что Спарк не досчитает, но он может просто долго считать) физика долгая будет - считать в диски все, если что-то шафлить то дорогой шафл
А как её сейчас осуществить? Насколько я помню, когда-то давно итератор со всеми данными для таска действительно грузился в память экзекутора целиком, но потом его переписали на считывание с диска, и щас не может спарк грузить в память больше данных, чем надо)
GP
Евгений Глотов
А как её сейчас осуществить? Насколько я помню, когда-то давно итератор со всеми данными для таска действительно грузился в память экзекутора целиком, но потом его переписали на считывание с диска, и щас не может спарк грузить в память больше данных, чем надо)
я хз