K
У тя когда джоба в рантайме разваливается , тебе даже не до того , правильно ли она считает
Size: a a a
2021 August 20
ПБ
Мы искали скалиста или джависта: по бюджету не прошли
ПФ
И это то, из-за чего я когда-то переехал с дф на дс
ПФ
Брали бы питониста
ПФ
Ну сколько ему бы понадобилось? Ну месяц
ЕГ
Чтоб разобраться, как собирать джарку😆
NN
Окей. Помогите разобраться. Вот если бы это случилось на скаловском приложении, то что бы случилось?
ЕГ
Ещё год чтоб понять, чё там понаписали😆
ПФ
По сути чтобы на спарке писать надо выучить синтаксис и апиху Спарка
ПФ
Ничего сложного джуну наверное не дают
ПФ
Оно бы не скомпилировалось
NN
Ну так ещё надо учить и других, чтобы они это могли поддерживать.
Плюс трудности интеграции с питонячьими пайплайнами сатанистов.
Плюс трудности интеграции с питонячьими пайплайнами сатанистов.
ПБ
А потом попросили r переписать на спарк
ПФ
Ну это слёзы в любом случае
ПФ
Работа которую надо сделать
NN
Хорошо.
А что будет, если я напишу на питоне n тестов, проверяющих типы данных, и буду вначале валидировать на сэмпле?
А что будет, если я напишу на питоне n тестов, проверяющих типы данных, и буду вначале валидировать на сэмпле?
ЕГ
Я специально для джунов делал фреймворк, в который одну функцию подаёшь, и конфиг, и всё работает, функция принимает много датафреймов и возвращает один, больше ничего не надо для етл
ЕГ
Там негде ошибиться, кроме как в составе колонок, а тут скала и питон ничем не отличаются
ПФ
На каждом шаге причём. Конечно так можно
ПФ
Это правда