Мужики, срочно нужна помощь.
Я уже голову сломал, не знаю где искать ответ, может кто сталкивался.
Пытаюсь записать свой data frame в Redshift, следующим методом : datasink4 = glueContext.write_dynamic_frame.from_jdbc_conf(). В итоге когда записываю первый раз все отлично, когда пишу второй раз получаю ошибку
An error occurred while calling o108.pyWriteDynamicFrame. [Amazon](500310) Invalid operation: column "invalid_raw_ffd" of relation "files_comparison_new" already exists;

files_comparison_new это название таблицы в Редшифте, invalid_raw_ffd это имя колонки.

glue job же? в логах только эта ошибка?

Ага

Никогда в жизни такой ерунды не было
Всегда точно так же писал в Редшифт и все было нормально

если раньше работало и перестало - точно поддержку надо пинать

Ну на другом проекте работало
А тут новый проект, я пришёл только на той неделе

Пишу джоб, простенький вообще, беру таблицу из глю и пишу в редшифт
Первый раз все нормально записывает, второй раз запускаю - эта ошибка

Насколько я понял он пытается создать колонки в таблице, хотя и таблица и колонки уже существуют

у редшифта есть этот знаменитый баг, он не умеет add column if not exist, хотя пг (от которого у редшифта морда) умеет это; к сожалению в глу нет возможности как-то сделать эксплейн, но как вариант  - он где-то решил что этой колонки нет и пытается каждый раз добавить

Ну просто странно, потому что раньше точно таким же методом писал всегда, и всегда записывал тот же фрейм в ту же таблицу

Почему именно сейчас он начал выёживаться

ну логика джоба могла как-то поменяться? чего вы там делаете  с этим фреймом до этого

Ничего, в том-то и дело. Беру как есть и записываю из glue table в Refshift

Mapping только делаю

там глу вроде научился spark ui показывать, может там что-то видно?

Ща гляну

но вообще по всем показаниям - в поддержку

Да я написал уже
Индус какой-то отвечает, раз в день, рассказывает мне очевидные вещи которые я итак знаю

Мне от него добиться что-то неделю возьмёт