Например есть очень больной отчет. Который олап, но блин надо чтобы там как можно быстрее данные из oltp обновлялись. (рука лицо, как обычно)
С помощью олтп лить не вариант, т.к. всё положит.
Делаешь загрузку по N записей и выставляешь 50 воркеров. В период больших нагрузок снижаешь количество воркеров отбирающих dwh по клиентам например, чтобы не мешать, вечером поднимаешь.
Dwh обновляется чуть чаще, чем было бы раз в ночь/месяц тд тп. Но требует специальных флагов "что обработано" и т.п.

снижать поднимать можно джобом

невероятная штука, много где применима. Особенно с вот этим регулированием воркеров на лету

Понял тебя. Спасибо. Я точь в точь подход использовал для сбора данных с серверов. Сначала, как обычно, изобрёл велосипед - написал свою имплементацию очереди, потом понял что сделал и переделал на SB - результат отличный и как раз такой скейлинг, как ты сказал, очень помог. Система просто не совсем DWH, внутренняя система управления серверами, но в принципе...можно с натяжкой назвать хранилищем конфигурационной информации.

точно не вариант? В чем проблема лить через олтп? сколько запросов в секунду? Я знаю способы без брокера.

Всем привет, тестирую выполнение powershell скрипта из SQL кто нибудь в курсе, как обойти эту ошибку?

Отключите запрет на выполнение скриптов через PowerShell командой:
Set-ExecutionPolicy RemoteSigned
Или запустить скрипт в следующем виде:
PowerShell.exe -ExecutionPolicy Bypass -File ваш_скрипт.ps1

Подскажите почему sql вакансиях часто идет питон в нагрузку? Почему именно питон, что там в нем такого всем нужного

в sql server встроенная поддержка писона с версии 2016.

да и в дата саенс его любят

Речь не о таком же использовании питона?

а эдак можно и сервер half-life запускать. это не то)

Так и это хрень какая то)) смешали бульдога с носорогом

так все it-хрень.
бегает куча хипстоты, читают бложики друг друга, переизобретают велосипед с помощью искусственного интеллекта, данные из одного формата в другой конвертируют...
главное, что плотют норм

Насколько мне известно, на питоне у многих etl построен.

Потому что низкий порог входа и кроссплатформенный

Да если бы за такие задачи норм платили, это же не так. Платят, все-таки, за то, что прибыль приносит)

Я вот питон так и не осилил. Не смог настроить ни одну ide так, чтобы там промт работал корректно. Подключаю пакет какой-то, часть методов подсказывается, а часть надо в документации вычитывать. Плюнул я.

Vscode, не? Я относительно недавно переосваивал. Первый подход был  ещё 2007, тогда все ржали над названием и простотой. Сейчас это для меня основной скриптовый язык. Повершелл сликом медленный. Vscode имеет отличную имхо поддержку питона и с базовым курсом на Coursera (Google IT automation with python) очень легко осваивается.