SU
и в s3 тоже чанками будет?
Size: a a a
2020 August 10
Ð
нет
SU
А вот шоб и в s3 чанками было, так можно сделать?
Ð
не знаю, а смысл?
n
Добрый день, подскажите пожалуйста как вывести все дублирующие записи без count просто их вывести
n
Везде в примерах с count а мне не количество а вообще все дублирующие
Ð
если у тебя таблица не претендует на целостность, может тогда стоит саму таблицу разбить на чанки, шарды и тд?
SU
Ð
если у тебя таблица не претендует на целостность, может тогда стоит саму таблицу разбить на чанки, шарды и тд?
Там просто таблица от старого сервиса, который пока что должен работать и если и лежать то не очень долго
VY
Везде в примерах с count а мне не количество а вообще все дублирующие
не выводи
count, всё остальное такжеSU
А так спасибо за советы
Ð
мне это мало о чем гвоорит... старый сервис - очевидно, лучше не трогать? треубют зливать ежедневные версии этой таблицы на с3?
SU
Ð
мне это мало о чем гвоорит... старый сервис - очевидно, лучше не трогать? треубют зливать ежедневные версии этой таблицы на с3?
Надо просто короч сделать полный дамп одной таблицы с одного сервера (просто сделать pg_dump на самом сервере и перенести по scp не вариант, потому что не хватает места на диске старого сервера) и перенести дамп на другой сервер, там места +- хватает и на него залить данные
Ð
что мешает сдампить ее уже сразу на новом сервере, или вообще pg_basebackup сделать там
SU
Вообще говорят что так будет слишком большая нагрузка на сеть, но я лично хз в этом плане
Ð
а типа когда ты будешь терабайт лить на с3, нагрузки на сеть не будет*
SU
Вот мне и надо чанками
SU
Я если честно вообще не шарю
Ð
у pg_basebackup есть ограничитель трафика
Ð
я базу копирую на другие серваки через него обычно
YS
Ребят, всем привет, подскажите плиз. У меня есть таблица на 67 миллинов записей, общим весом где-то около террабайта, мне нужно как-то сдампить данные и отправить дамп на s3. Хотел бы узнать как такое можно сделать.
Пока у меня довольно топорное решение, делать запросы по несколько тысяч записей, загружать их в csv, сжимать и отправлять частсями на s3 и в поисках более оптимально решения решил обратиться сюда
Пока у меня довольно топорное решение, делать запросы по несколько тысяч записей, загружать их в csv, сжимать и отправлять частсями на s3 и в поисках более оптимально решения решил обратиться сюда
А почему просто не "собрать" что-то на основе \copy всей таблицы (в pipe, добавить в нём сжатие / throttling / split "по вкусу"), да и всё?
Зачем вообще "по частям", кстати?
Зачем вообще "по частям", кстати?