Size: a a a

2021 October 06

OI

Oleg Ilinsky in Data Engineers
🤔
источник

OI

Oleg Ilinsky in Data Engineers
чёт я не могу понять - там нужно будет значения вручную серриализовать в датафрейме?
источник

ПФ

Паша Финкельштейн... in Data Engineers
SmartData ищет модераторов для дискуссий!
Если вы хотите стать частью конференции, присылайте заявку.

Требования:
— Локация — любое удобное место со стабильным интернетом (подключение будет дистанционным);
— Четкая дикция;
— Умение следить за ходом дискуссии, слушать людей;
— Умение поддержать диалог;
— Умение быстро ориентироваться в ситуации, разбавлять эфир шутками, вовремя и тактично остановить спикера.

Необязательно, но было бы круто:
— Опыт публичных или эфирных выступлений;
— Интерес к тематике (быть экспертом необязательно, но важно хотя бы минимально ориентироваться).

Чем предстоит заниматься:
— В каждый из дней конференции участвовать в 2-3 тематических дискуссиях;
— Следить за чатом, выбирать интересные вопросы, озвучивать их спикеру;
— Следить за ходом дискуссий, вовремя давать и забирать слово у выступающих;
— Возможно, участвовать в брифах с участниками дискуссий.

С нас:
— Билет на конференцию;
— Денежное вознаграждение.

Анкета: https://ru.surveymonkey.com/r/VM5P96N
источник

T

T in Data Engineers
Очень интересный опыт^ ток тяжело, но рекомендую хоть раз попробывать всем. Я после 10 часов Q&A на datalove просто лег и даже не моргал
источник

ПФ

Паша Финкельштейн... in Data Engineers
ну 10-часовых сеансов на смартдате не будет
источник

ПФ

Паша Финкельштейн... in Data Engineers
МАксимум две сессии в день
источник

T

T in Data Engineers
Ух, ну тогда сомневающися идите очень полезный опыт получите
источник

GP

Grigory Pomadchin in Data Engineers
А покажи пошире трейс
источник

OI

Oleg Ilinsky in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
Мож у тебя чего-то вершон мисметч?
источник

.

._. in Data Engineers
Ой, я вот вчера начал. Так там ведь та же задача, что Вы описывали с подсчётом элемента в списке, только чуть накрученнее. Тут даже нет смысла ничего кроме requests, multiprocessing и какого-нмбудь pydantic'а использовать. Стоит прикрутить всякого?

Я могу, в принципе, несколько подходов реализовать
источник

.

._. in Data Engineers
И как смотрят на выполнение тестового? Стоит ли засовывать в решение кучу всякого, чтобы показать, что ты за что-то шаришь? Боюсь, что это могут воспринять как излишне нагруженное решение
источник

OI

Oleg Ilinsky in Data Engineers
есть такая вероятность)
источник

OI

Oleg Ilinsky in Data Engineers
недавно до спарка 3.1.2 обновился, потом откатился до 3.0.0
источник

OI

Oleg Ilinsky in Data Engineers
жабу тоже с 8 на 11 поменял
источник

TT

Tsh Tsh in Data Engineers
А hive используете?
источник

OI

Oleg Ilinsky in Data Engineers
используем)
источник

TT

Tsh Tsh in Data Engineers
А что ещё в качестве хранилища метаданных?
источник

OI

Oleg Ilinsky in Data Engineers
ну если про хайвовые метаданные - то это пострегрес, сам хайв метастор - под в кубернетисе, а данные лежат в с3
источник

OI

Oleg Ilinsky in Data Engineers
спарк тоже в кубах: в таске эирплова с кубовым экзекутором поднимается драйвер (клиент мод), который запускает экзекуторы спарка
источник