Size: a a a

SqlCom.ru - Стиль жизни SQL

2020 November 05

АБ

Алексей Бровко... in SqlCom.ru - Стиль жизни SQL
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
источник

О奧

Олег 奧列格 (Ào liè gé)... in SqlCom.ru - Стиль жизни SQL
Посмотрите в сторону использования снепшотов виртуальных дисков VHDX, можно на тесте восстановить базу на такой диск, почистить ее, сделать снепшоты нужное количество, занимать места будет меньше, правда удалять придется все для нового восстановления.
источник

k

karb0f0s in SqlCom.ru - Стиль жизни SQL
Алексей Бровко
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
Для ускорения бэкапа можно попробовать включить сжатие бэкапов, бэкапить в несколько файлов/потоков.
По выборочному бэкапу - штатных средств для этой процедуры нет, но есть что-то такое в платных продуктах. Самое простое решение в таком случае - апгрейд теста. Если очищаемые таблицы не используются, можно вытащить их в отдельные партициии, в этом случае будет возможность создания полного бэкапа и восстановление части партиций из этого бэкапа. При этом манипуляции с таблицами, которые остались невосстановленными, будут невозможны.
Если ориентироваться на описание проблемы с очисткой 5-8ГБ, в разы проще проапгрейдить тест. Это самое прозрачное и незатратное решение
источник

KT

Konstantin Taranov in SqlCom.ru - Стиль жизни SQL
Алексей Бровко
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
альтернативный вариант без бэкапа - выгрузка через bcp только нужных таблиц в csv и накатка их на пустую структуру на тесте, выгружать и загружать можно в несколько потоков например с помощью powershell (если нужна будет помощь со скриптами - пишите в личку)
источник

IZ

Ilia Zviagin in SqlCom.ru - Стиль жизни SQL
Алексей Бровко
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
Тебе надо девайсы базы ужать, видимо, но в современном SQL server я не знаю как это делается
источник

IZ

Ilia Zviagin in SqlCom.ru - Стиль жизни SQL
Алексей Бровко
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
После удаления таблиц и перед вторым бэкапом
источник

KT

Konstantin Taranov in SqlCom.ru - Стиль жизни SQL
Алексей Бровко
Всем привет.

У меня есть продовая база MSSQL 12. Делаю с нее бекап на тест.

На тестовом сервере место сильно ограничено + надо дрвернуть несколько экземпляров базы для разных веток. Развернуть полностью бэкап на тесте я не могу - не хватает места.

Что делаю сейчас:
- Делаю Фулл бэкап
- Разворачиваю бекап на боевой тачке (т.к. на ней достаточно места)
- Чищу самую большую таблицу (~5-6Гб), остальные таблицы ~700Мб
- Уменьшаю размер файлов с логами/даными
- Делаю бекап снова, отношу на тест, разворачиваю

Сервер медленный, бекап/рестор/бекап только на проде занимает > 40 минут.

Вопрос в том, может можно как-то потереть удаляемую таблицу/пожать файлы без рестора?
ну и посмотрите в сторону https://dbatools.io/oldapp/ возможно миграция там умеет исключать некоторые таблицы
источник

АБ

Алексей Бровко... in SqlCom.ru - Стиль жизни SQL
Всем спасибо. Почитаю, подумаю :)
источник

N

Nataly in SqlCom.ru - Стиль жизни SQL
Привет. Подскажите пожалуйста ресурсы по изучению sql современные. Может кто курсы бесплатные видел...
источник

IZ

Ilia Zviagin in SqlCom.ru - Стиль жизни SQL
Nataly
Привет. Подскажите пожалуйста ресурсы по изучению sql современные. Может кто курсы бесплатные видел...
Мартин Грабер, введение в SQL — лучший ресурс.
источник

N

Nataly in SqlCom.ru - Стиль жизни SQL
Спасибо
источник

KT

Konstantin Taranov in SqlCom.ru - Стиль жизни SQL
Nataly
Привет. Подскажите пожалуйста ресурсы по изучению sql современные. Может кто курсы бесплатные видел...
Если по SQL server, то выбирайте https://github.com/ktaranov/sqlserver-kit/blob/master/README.md#courses
источник

N

Nataly in SqlCom.ru - Стиль жизни SQL
Спасибо
источник

F

Frankie4Fingers in SqlCom.ru - Стиль жизни SQL
Nataly
Привет. Подскажите пожалуйста ресурсы по изучению sql современные. Может кто курсы бесплатные видел...
источник

M

Max in SqlCom.ru - Стиль жизни SQL
@ktaranov, можешь подсказать когда следующий стрим по вопросам из зала у Брента?
или может ты в теме про vSAN и размер кластера?
PS занес свой вопрос из нинзи
источник

KT

Konstantin Taranov in SqlCom.ru - Стиль жизни SQL
Max
@ktaranov, можешь подсказать когда следующий стрим по вопросам из зала у Брента?
или может ты в теме про vSAN и размер кластера?
PS занес свой вопрос из нинзи
Он на Ютубе и у себя в блоге анонсы делает, попробуй напиши ему в Твиттер или на почту, он довольно часто отвечает если знает ответ

Такое попробуй в Твиттере с одном #sqlhelp запостить свой вопрос предварительно оформим его на DBA.stackoverflow
источник

M

Max in SqlCom.ru - Стиль жизни SQL
Спасибо! закину
источник

X

Xenia in SqlCom.ru - Стиль жизни SQL
Привет!
источник

X

Xenia in SqlCom.ru - Стиль жизни SQL
Анализируешь данные, изучаешь data science или разрабатываешь ML-приложения и их прототипы? Недавно @selectelnews выпустил бесплатный Data Science Docker Container с фреймворками и инструментами ML/DL.

Без навыков Devops с его помощью можно развернуть рабочую среду и обучать нейросети, экспериментировать с данными и запускать проекты машинного обучения.

Из явных плюсов:

— Выгодная оплата — платить нужно только за потребляемые ресурсы в облаке или кластере Managed Kubernetes. Если запускаешь контейнер на своем компьютере — платить вообще не нужно.

— Понятная документация. @selectelnews снял двухминутную инструкцию со всеми этапами запуска контейнера и описал процесс в базе знаний.

Запустить контейнер.
источник
2020 November 06

СЖ

Сергей Жуков... in SqlCom.ru - Стиль жизни SQL
Всем привет. Настраиваю репликацию Amazon AWS DMS: источник бд на MSSQL (виртуалка на Linux), получатель бд на PostgreSQL (виртуалка на Linux). Full load репликация работает без проблем, но дополнительно On-going (cdc) не работает. Ошибка при этом такая: Could not find stored procedure 'msdb.dbo.rds_cdc_enable_db'. Это логично, так как такая хранимая процедура есть в бд msdb, если AWS RDS (у меня не облачный). Кто сталкивался, подскажите куда копать?
источник