нет

А по ошибке очень похоже, что какая-то орк-таблица неожиданно имеет разные по структуре орк файлы

а можно пример того, как это происходит (было / стало)?

а можно пример того, как это происходит (было / стало)?

А по ошибке очень похоже, что какая-то орк-таблица неожиданно имеет разные по структуре орк файлы

Доброе утро! Друзья, подскажите, в чем может быть проблема?
Спарком 2.3.3 собирается витрина, простой ETL, прочитали несколько таблиц, поджойнили, записали в ORC
Месяцы все работало прекрасно, тут запись начала валиться с ошибкой

java.lang.IndexOutOfBoundsException: toIndex = 46
 at java.util.ArrayList.subListRangeCheck(ArrayList.java:1012)
 at java.util.ArrayList.subList(ArrayList.java:1004)
 at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.getSchemaOnRead(RecordReaderFactory.java:161)
 at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.createTreeReader(RecordReaderFactory.java:66)
 at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.<init>(RecordReaderImpl.java:202)
 at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.rowsOptions(ReaderImpl.java:539)
 at org.apache.hadoop.hive.ql.io.orc.OrcRawRecordMerger$ReaderPair.<init>(OrcRawRecordMerger.java:183)
 at org.apache.hadoop.hive.ql.io.orc.OrcRawRecordMerger$OriginalReaderPair.<init>(OrcRawRecordMerger.java:226)
 at org.apache.hadoop.hive.ql.io.orc.OrcRawRecordMerger.<init>(OrcRawRecordMerger.java:437)
 at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getReader(OrcInputFormat.java:1215)
 at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRecordReader(OrcInputFormat.java:1113)

сделал refresh table для всех таблиц источников, но это не помогло.
Никаких изменений в коде не было, параметры фильтров такие же, как и были все время
Куда копать?

Посмотри в багтрекере у spark, у нас была такая ж проблема с совместимостью spark&orc. Перепрыгнули с 2.3 на 2.4 из-за этого

🚨ГОТОВЬТЕСЬ!🚨
И не говорите, что мы вас не предупреждали.

Уже 10 марта стартует флагманский онлайн-курс
"Data Engineer 8.0". Присоединяйтесь: https://clck.ru/TXLLN

🧑🏻‍💻Приглашаем дата инженеров, администраторов баз данных и менеджеров по развитию продуктов систематизировать свои знания и овладеть новыми востребованными навыками в области дата инжиниринга.

7-недельная образовательная программа по построению ETL-пайплайнов: Hadoop, Kafka, Spark, Airflow, ElasticSearch и пр:
✔️21 практическое занятие;
✔️10+ современных инструментов по обработке данных;
✔️6 лабораторий-суперавчиков.

Обучают: Антон Пилипенко (Sbermarket), Николай Марков (Aligned Research Group), Андрей Титов (NVIDIA) и Егор Матешук (Qvant),

Преподаватели, не нуждающиеся в дополнительном представлении. Они поделятся с вами своим бесценным опытом, датасетами из реальной жизни и помогут обойти многие подводные камни.

а есть какие-нибудь планы на даты проведения DATA ENGINEER 9.0?

А кто-то на русском читает уже курсы ML Engineer, или пока не освоена поляна?

яндекс (ШАД и практикой)

Спасибо

А кто-то на русском читает уже курсы ML Engineer, или пока не освоена поляна?

Ну раз Гриша и сотоварищи не против рекламы в чатике, то я прорекламируюсь. Вот мой курс https://ozonmasters.ru/big_data. Весь курс крутится на стыке ML моделей и дата инжиниринга. Домашки - это проекты по предиктивной аналитике на разных фреймворках. С этого года еще про воспроизводимые эксперименты и MLflow будет

Ага, спасибо; мне показалось что больше про DE, в плане ключевых слов