В spark jdbc идет запрос формата select * ftom ( <your query> ) t так что если только функцию позвать... ну либо есть preStatement, который может например данные вставить во временную таблицу
В spark jdbc идет запрос формата select * ftom ( <your query> ) t так что если только функцию позвать... ну либо есть preStatement, который может например данные вставить во временную таблицу
Решил я для оптимизировать утилизацию ресурсов через запуск параллельных джобов внутри одного аппликешна согласно этой статье https://towardsdatascience.com/3-methods-for-parallelization-in-spark-6a1a4333b473 через треды. Выйгрыша как такового не получил, как и максимальную утилизацию ресурсов. Подскажите, есть ли профит от подобного на реальных системах, и такое используют в проде (я про пример с тредами из статьи)?
Решил я для оптимизировать утилизацию ресурсов через запуск параллельных джобов внутри одного аппликешна согласно этой статье https://towardsdatascience.com/3-methods-for-parallelization-in-spark-6a1a4333b473 через треды. Выйгрыша как такового не получил, как и максимальную утилизацию ресурсов. Подскажите, есть ли профит от подобного на реальных системах, и такое используют в проде (я про пример с тредами из статьи)?