Я пишу приложение по миграции данных из PostgreSQL в Redshift.
В PostgreSQL большое количество данных.
Для выгрузки я хочу воспользоваться курсором(https://postgrespro.ru/docs/postgrespro/10/plpgsql-cursors)
А так как приложение относительно маленькое и хочу его быстро поднять, то делаю с использованием SpringBoot
Я нашла, что в рамках Spring, что бы воспользоваться курсором нужно использовать SimpleJdbcCall
(https://docs.spring.io/spring/docs/4.2.x/spring-framework-reference/html/jdbc.html#jdbc-simple-jdbc-call-4).
Из документации понятно, что необходимо создать функцию , возвращающюю refcursor, но я не вижу, что бы в документации выгружали частями, не вижу работу с FETCH
Можете подсказать: Как с помощью SimpleJdbcCall,  выгружать данные частями и правильно ли я подобрала инструменты?(возможно есть еще решение)

в конфиге настроил через Qualifier, теперь везде подтягивается то что мне нужно и сделал это через Primary.

для простой выборки лучше обойтись без курсора, я бы делал так https://codereview.stackexchange.com/questions/163131/jdbc-query-with-limit-and-offset

У стейтмента есть фетч сайз. А вставлять можно батчем. Насколько оно вообще надо возиться с лимитами и офсетами. Насколько много данных. Сотни гигабайт, терабайты?

Но если в БД около нескольки милионов данных то ORDER BY - это не слишком затратная операция?

А вам зачем

Собственно

Переносите по id

извиняюсь, не милион, а милиард строк. Чуть меньше терабайта данных

А переносить по id - это с использованием Limit и Offset?

У вас в таблицах праймари id есть? Почему бы не запоминать максимальный из порции

И начинать с него

Курсоры вам не помогут насколько я понимаю

Ну и вопрос есть ли партиции раз данных много

Тогда выгружать можно по партиям

Спасибо большое за помощь!)

Вы мне очень помогли

Абалдеть насколько тут красивые девочки есть)

я так в варкрафт играл) а мeня в данжи водили)