Если запросы не ложат базу — стараюсь предварительно все что можно делать в sql

Добрый вечер, коллеги. Помогите с нубским вопросом: пытаюсь "играться" с анализом данных скорее в виде хобби, и столкнулся, что массивы, которые удается получить, весьма неудобны для анализа. Например, если в поле содержится id элемента из другой таблицы, или таблица представляет список событий, а анализировать нужно интервалы и т.п. делать это на питоне получается ужасно неудобно.
Подскажите, я что-то не так делаю или предварительная склейка и предобработка данных в том же sql - это нормально?

Поясню о чем речь: предположим, у меня есть таблица поступлений по клиент-банку, таблица контрагентов и таблица обращений в crm и я хочу анализировать интервал времени от первого контакта до поступления денег: лучше эти интервалы в sql посчитать и сразу с названиями контрагентов склеить или в python это тоже можно так же просто и удобно сделать?

Если запросы не ложат базу — стараюсь предварительно все что можно делать в sql

Несмотря на простоту, в SQL довольно проблематично оптимизировать повторяющиеся куски кода. Невозможно логать потери при разных джоинах таблиц (особенно если в одном запросе их больше 5-10). Трудно заполнять недостающие индексы и прочее. Нужно хорошо поиграться и с sql, и с python/pandas, чтобы понимать, каким инструментом и на каких этапах получится решить задачу быстрее.

Это то понятно, что некоторую обработку проще в коде сделать. Просто я думал, что каких-то фич пандаса не знаю, которые позволяют так же удобно, как в sql оперировать.

Вот постоянно удивляюсь.
Есть какие-то причины или привычка / личная производительность?

Вышлите запрос. Уверен, коллеги найдут лаконичные способы сделать это в pandas.

Это то понятно, что некоторую обработку проще в коде сделать. Просто я думал, что каких-то фич пандаса не знаю, которые позволяют так же удобно, как в sql оперировать.

Скиньте пример какой-то функции в SQL, аналога которой не получилось найти в Pandas. Мне кажется, что дело просто в навыках, а не в том, что у Pandas не хватает функционала

Спасибо за предложение, Алексей! В основном речь о джойнах, подстановке данных из другой таблицы по ключу, вычислении интервалов между событиями, записанными в виде таблицы логов.

Это, конечно, решается многократными проходами циклов обработки по всему массиву, но как-то неаккуратно.

Чаще всего циклы при использовании Pandas говорят о том, что что-то делается не по канонам)

есть нескколько скриптов, там идут коннекты к разным базам, яндекс маркету и прочее. Ну работает нормально впринципе, но иногда приходят отбивка об ошибках типа ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
фиг его знает что именно там пошло не так. вручную скрипт запустишь тут же - все норм прошло. Вобщем как бы так отследить в каком именно месте падает?

есть нескколько скриптов, там идут коннекты к разным базам, яндекс маркету и прочее. Ну работает нормально впринципе, но иногда приходят отбивка об ошибках типа ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
фиг его знает что именно там пошло не так. вручную скрипт запустишь тут же - все норм прошло. Вобщем как бы так отследить в каком именно месте падает?

Ребятки, добрый день) В этом году пишу дипломную работу. Хочу взять тему "прогнозирование цен на нефть" используя новости как один из критерий прогноза. Сам я только начинаю изучать питон и машинное обучение. Может посоветуйте какие-нибудь книги, статьи с пошаговыми действиями? А то проблема в том, что я нашел пару статей и кодов к этой теме для прогнозирования, но это все расписано на пару страниц, а в работе требуется около 80 страниц. Заранее спасибо)