Need HELP

@komradd спасибо Вам огромное

коллеги проконсультируется меня.
Задача предполагается что каждый день будет идти загрузка данных в БД SQL SERVER, порядка 170 мил. записей. при этом  перед вставкой таблица очищается.
подскажите какие есть методы загрузки чтобы ускорить процесс вставки.
Если средствами bcp , то может есть рекомендации какие порциями вставлять, если SSIS то может лучше разбивать данные на части.

SSIS. Задача типовая. Он сам грузит пачками. Нужно убедиться, что соблюдены все условия для работы процесса массовой вставки с неполным логированием. https://docs.microsoft.com/en-us/sql/relational-databases/import-export/prerequisites-for-minimal-logging-in-bulk-import?view=sql-server-ver15

bcp - в принципе ничем не хуже. SSIS просто визуально проще.

а какие требования к скорости зазрузки? и какой размер файла (файл ли будет)?

Поддержу BCP - простой батник и файл загрузится со свистом.

файл не понятно какого размера, просто была задача на 16 лямом записей, решили увеличить данные в 10 раз и мне хотелось бы понять, если данные будут  из источника выгружаться в CSV файл а потом bcp, то хотелось бы понимать делить файлы по 10 лямов записей или 50 и будет при этом идти нагрузка, вопрос еще в окне по времени, чтобы при этом и другие процессы отрабатывались в норме, и к примеру расположении отдельно LOG файла для FULL моделей, от этого тоже будет зависить.
стоит ли все таки идти путем, чтобы удалять индексы перед вставкой и заново генерить их после вставки

сейчас сколько 16кк строк льются по времени? сколько весит сам файл?

> чтобы удалять индексы перед вставкой и заново генерить их после вставки
скорее всего будет быстрее с удалением индексов, а потом их созданием заново.

хорошая статейка

насчет 16кк пока по времени вставки не скажу узнаю, там общий JOB работает с расчетами по мимо вставки 1,5 часа, надо будет засечь

300к и без проблем

2 пункт распишите по русски. Ничего не понятно

Лол)

Подскажите. Как ведут себя временные таблицы между сессиями ado conection? Я смогу найти врем таблицу что создавал в другой сессии и будут ли там те данные? Кто и когда убивает временные таблицы?

Меня такой же вопрос интересует

Сессия закрывается - таблицы временная бахается(mssql)

Вы там почитайте про временные таблицы на сайте производителя бд