GP
а там тоже нет тестов?
Size: a a a
2021 October 09
GP
(я конечно не занимаюсь кинк шеймингом)
ЕГ
Вот там должны быть)
ЕГ
Юнит
ЕГ
Но да, пока нет😆
ЕГ
ЕГ
Но только это не "тестировать свои етли", а тестировать общий функционал
ЕГ
А если общий функционал оттестирован, то етли, которые на нём основаны, можно покрывать дата тестами
ЕГ
Аналитик две csv-шки подготовил - вот и всё тестирование
ПФ
synthesized специально деает так, чтобы по SQL генерировались тестовые данные )
GP
ну даже если не синтетика
то можно иметь эту csv заранее
то можно иметь эту csv заранее
GP
и перегенировать ее каждый раз
ЕГ
Код подачи цсвшек в тестирование опять же общий
GP
и потом сравнивать
GP
и на каждом пр мерже проверять автоматически (новая csv = эталону; а если не равна то пояснить почему поменялось и надо ли это менять)
2021 October 10
Е
Жень, а как в таком случае lag-ом заполнить пустые строки?
Если после юниона внизу много пустых строк, то lag заполнит только первую пустую, а остальные так и останутся пустыми
upd нагуглил https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.last.html , попробую ее заюзать
Если после юниона внизу много пустых строк, то lag заполнит только первую пустую, а остальные так и останутся пустыми
upd нагуглил https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.last.html , попробую ее заюзать
ЕГ
Я ж написал, не лаг, а надо идти до конца окном, пока не найдём)
А
Посмотрите классическую SQL задачу start_of_group, условие весьма напоминает
2021 October 11
N
вот не надо тут, общий функционал довольно неплохо обмазан. еще бы тестовые стенды выпилить на тестконтейнеры.
ЕГ
Конкретно на моём кусочке общего функционала ещё нету😐
[Ушёл писать тесты]
[Ушёл писать тесты]