V
Порекомендуйте книги по PostgreSQL для начинающего-среднего программиста (junior)
Size: a a a
2021 June 16
VK
посмотрите тут - https://dataegret.ru/2020/07/how-to-become-a-postgresql-dba/
П
для джуниора рекомендую вот этот бесплатный курс: stepik.org/course/63054
ПТ
А можно и не только книги: https://postgrespro.ru/education
БК
Коллеги, привет!
Загружаю питонвским скриптом через
psycopg2.extras.execute_batch(cur, insert, data.values) данные в таблицу postresql. Грузит <=232 записи, с типами все ок. Если >232, ругается на типы, на дату или integer, зависит от того сколько строчек пытаюсь. Нужно 300 к.
Вопросы:
1) как проверить/ корректировать default параметры бд на загрузку данных?
2) что еще стоит проверить, мб ключи?
Загружаю питонвским скриптом через
psycopg2.extras.execute_batch(cur, insert, data.values) данные в таблицу postresql. Грузит <=232 записи, с типами все ок. Если >232, ругается на типы, на дату или integer, зависит от того сколько строчек пытаюсь. Нужно 300 к.
Вопросы:
1) как проверить/ корректировать default параметры бд на загрузку данных?
2) что еще стоит проверить, мб ключи?
AL
приведите точный текст ошибки который вам возвращает постгрес
AL
> Грузит <=232 записи, с типами все ок. Если >232,
может в 233 строке данные которые не соответствуют типу в таблице. Например попытка вставить текст в поле с integer типом
может в 233 строке данные которые не соответствуют типу в таблице. Например попытка вставить текст в поле с integer типом
БК
если 234 строк
если 1000 строк
данные соответствуют типам, эти же данные вручную через import гружу все ок
psycopg2.errors.InvalidDatetimeFormat: invalid input syntax for type timestamp: "NaT" если 1000 строк
psycopg2.errors.NumericValueOutOfRange: integer out of range данные соответствуют типам, эти же данные вручную через import гружу все ок
PC
а если по 232 строки последовательно пройти, то все нормально проходит?
PC
и откуда вы данные берете?
БК
типо циклом закидовать по 232, сделать 1200 итераций имеете ввиду?
данные из другой бд в виде dataframe. если его сохранить в csv и залить все ок.
данные из другой бд в виде dataframe. если его сохранить в csv и залить все ок.
PC
» типо циклом закидовать по 232, сделать 1200 итераций имеете ввиду?
да
да
БК
попробую, т.е скорее всего стоит лимит множества VALUE, и после лимита он не понимает данные, и соответственно типы ?
PC
мне кажется, что в данных у вас приходит не то, что понимает postgres
AL
> данные из другой бд в виде dataframe.
> invalid input syntax for type timestamp: "NaT"
возможно что в исходной БД откуда вы экспортируете данные возвращает некий "NaT" который типа "Not a Timestamp" (напоминает NaN не правда ли?) который транслируется в текст, и при вставке в постгресовое timestamp поле, логично возвращает ошибку " invalid input syntax for type"
> invalid input syntax for type timestamp: "NaT"
возможно что в исходной БД откуда вы экспортируете данные возвращает некий "NaT" который типа "Not a Timestamp" (напоминает NaN не правда ли?) который транслируется в текст, и при вставке в постгресовое timestamp поле, логично возвращает ошибку " invalid input syntax for type"
AL
> мне кажется, что в данных у вас приходит не то, что понимает postgres
согласен с этим утверждением
согласен с этим утверждением
AL
кстати если вы заглянете в постгресовые логи, то вы там на этой ошибке должны увидеть конкретный запрос который вызвал ошибку и значения которые пытаются вставиться
БК
да, рассчитывал что psycopg2 обработает, но оказалось нет.
БК
ок, будут готовить типы вручную, всем спасибо за помощь!)
EM
Кто-нибудь при билде расширений сталкивался с нехваткой bison-а?
У меня bison стоит в системе, но на нём всёравно валится.
У меня bison стоит в системе, но на нём всёравно валится.