Всем привет . Имеется задача построчного импорта в СУБД данных из csv .  После считывания csv данные хранятся и преобразовываются в pd.DataFrame и отправляются циклом построчно (in df.itertuple()) в субд с помощью метода to_sql (и соответственно привлекая sql alchemy). Производительность оставляет желать лучшего . Куда ковырять этот etl процесс что бы стримовый инсерт  работал быстрее? Думаю проблему где то в преобразовании df в orm объекты алхимии. Возможно стоитьсиотреть в сторону хранения данных не в df ? Знатоки прошу подсказать. PS Spark привлекать не получится

ASAP
Всем привет! Срочно нужны в команду Backend разработчики Python (middle+/senior). Проект на 2 месяца по созданию автоматизированной системы документооборота для заказа крупной компании.  Если вы готовы или у вас есть знакомые, кому будет интересен данный проект, пожалуйста, свяжитесь со мной - Анастасия, +7 999 717 66 35
Размер оплату готовы обсудить с подходящим кандидатом индивидуально, исходя их ваших запросов. У нас молодая и крутая команда, присоединяйтесь!

@minisot что то одна реклама

Как проверить, может ли значение ячейки pd.DataFrame быть приведено к определенному типу данных? Например, у меня есть столбец

'data': 'object'

и 99 строк имеют значения в стиле даты (например, дд-мм-гггг), но 1 строка не имеет значения даты (а некое строковое, н-р "тест"). Как исключить из датафрейма эту строку? смотрел в эту сторону
df [(pd.to_datetime (df ['date'])) == False)]
. Но этот подход не работает .. ошибка синтаксиса

Зачем тебе такое?

Приветствую. Как раз для валидации. Все таки пришли к бакету а не стримингу как ты и говорил. кроме проверок на nan и >0 нужно также проверить что даты в строке можно привести к соответствующему типу. В противном случае при попадании в ячейку "чего то не того" возникнет ошибка которая приведет к тому что данные не загрузятся вообще. А организуя проверку мы загрузим корректные данные, а эту строку отправим в лог ошибок

pd.to_datetime(df['C'], errors='coerce').isnull()

Сейчас еще не на работе... но скорее всего так преобразовать надо.. сам не могу пока проверить

спасибо посмотрю

Напиши - получилось или нет... если ошибка - скинь сюда.

Да, спасибо. Только наоборот .notnull()

ну ок.. я просто из головы взял это... и примерную конструкцию выдал.

#вакансия #trader #офис #питер
Вилка: 120K-300К (фикс)+бонусы
Офис в Санкт-Петербурге

Мы занимаемся HFT-трейдингом. В один из наших основных проектов мы ищем опытного трейдера со знанием Python, обладающего аналитическим умом, внимательностью к деталям и желанием решать сложные задачи.

Чем предстоит заниматься:
1. Организация и менеджмент пула торговых роботов;
2. Аналитическое сопровождение торгов;
3. Поиск новых возможностей и анализ развивающихся рынков;
4. Консультация смежных проектов по вопросам производных финансовых инструментов.

Что для этого нужно:
1. Опыт торговли фьючерсами/свопами/опционами. Маркет-мейкинг, хеджирующие стратегии, арбитраж;
2. Глубокое понимание близкого вам производного инструмента;
3. Математическая подготовка (теория вероятности и математическая статистика; стохастический анализ);
4. Знание Python / R / Matlab;


Если вы себя узнали в описании или хотите попробовать себя в трейдинге, то пишите: alina@futurecomes.com
Telegram: @AKWii

Ребят всем добрый вечер. Меня зовут Илькин и на данный момент учусь на 3 курсе во Франции на Computer Science. Ищу стажировку в сфере Data Science/Machine Learning/Data Science. Уже вот как месяц ищу но пока тщетно.
Немного про свой бекграунд: умею программировать на Java,  C/C++, Web Langs, python,Го, Джулиа, SQL/MySQL. Успел написать кучу всего : сайты, игры,  боты, парсеры и тд. Проходил стажировку как аналитик данных в местной консалтинговой компании + как бекенд разраб стажёр.
Умею говорить на 5 языках: русский, английский, немецкий, французский и азербайджанский (мой родной). Также очень много волонтерствовал.
Как думаете, насколько реальны мои шансы найти стажировку? 

Где то между да и конечно

)

Мне интересно больше МЛ если честно

Флаг в руки

Привет кто то юзал telethon ?