ПФ
Ну вот, и тебе надо сгенерировать очень много тестов чтобы закрыть все такие возможные ошибки на каждом шаге
Size: a a a
2021 August 20
ПФ
Конечно так можно делать
ПФ
Но типы проще
ПФ
Кажется это в простых случаях работает, а когда у нас пяток источников и пара сотен строк кода - уже не так просто
ПФ
Так-то вообще всё не нужно, есть SQL
ЕГ
Несколько сотен строк кода - неправильная гранулярность етля
NN
Это значит, что понимание принципов работы спарка требует погружения в то, как там что работает - параллелизм, партиции, форматы, выделение ресурсов, закидывание тех же джарников, и т.д
Иначе можно получить миллион мелких файлов на каждую табличку, например.
И 10-часовой пайплайн вместо 10-минутного.
Если ещё и скалу добавить, то наши ребята взвоют и не поймут.
Иначе можно получить миллион мелких файлов на каждую табличку, например.
И 10-часовой пайплайн вместо 10-минутного.
Если ещё и скалу добавить, то наши ребята взвоют и не поймут.
ПФ
Я не готов умереть в этой борьбе ребят, сорри
ПФ
Выражаю своё мнение
NN
Не сказал бы.
Их достаточно один раз написать.
Их достаточно один раз написать.
ПФ
Ну там на каждом шаге потенциально ошибки, которые просто не выявились тестом. Причём код каверадж эти ошибки не покажет
ЕГ
Если даг неделю стабильно работает - можно тесты уже не писать😆
B
Ну вот и это ещё мы не пойми кого набираем. Все это сразу знать не нужно. Просвящать по мере надобности.
NN
Теоретически - возможно, мне, вероятно, мешает отсутствие бэкграунда в jvm, чтобы это осознать.
На практике - и тестов хватает, и прод стабилен, все на пайспарке.
На практике - и тестов хватает, и прод стабилен, все на пайспарке.
ЕГ
Мера надобности - количество вопросов джуна к лиду)
ПФ
Наверное да. Не готов умереть в этой борьбе
ПФ
Ну ты наверное видел, да, что есть ребята, которые хотят заработать денег на том, что генерируют датасеты по запросам?
ЕГ
А на андроиде можно спарк завести? Чё там уже, 8 ядер, 8 гигов оперативы)
ПФ
Это не на пустом месте, это реально востребовано потому что нетривиально
NN
Честно говоря, нет :(