А
Но это можно сделать и для бродкастджойна
Size: a a a
2021 February 20
KS
Подозреваю, что кто-то уже давно опубликовал бенчмарки разных методов джойнов с и без бродкаста, включая подробный анализ и рекомендации по оптимизации.
KS
Я примерно представляю себе график зависимости от количества данных для стандартного железа, где после определенной точки, бродкасты отрабатывают быстрее джойнов.
А
Хотя в орк файлах можно делать блумфильтры на колонках, если получится пересечь сгенерированным блумфильтр от коллекции с блумфильтром колонки, то вероятно можно было бы сделать прунинг файла по коллекции
А
Подозреваю, что кто-то уже давно опубликовал бенчмарки разных методов джойнов с и без бродкаста, включая подробный анализ и рекомендации по оптимизации.
попробуй выполнить запрос у себя так и так, и расскажи)
KS
попробуй выполнить запрос у себя так и так, и расскажи)
Ну это же не научный подход 😁
Надо на разных наборах данных гонять, с оптимизациями и без, на разном железе и т.д.
Надо на разных наборах данных гонять, с оптимизациями и без, на разном железе и т.д.
KS
Мне просто самому лень, да и шея уже затекла от продолжительного сидения за компом. Но я надеюсь, что кто-нибудь молодой, полный сил и энтузиазма уже провел такие тесты.
NN
Мне просто самому лень, да и шея уже затекла от продолжительного сидения за компом. Но я надеюсь, что кто-нибудь молодой, полный сил и энтузиазма уже провел такие тесты.
Провел и никому не сказал)
KS
Подскажите как организовать тестирование кода в AWS glue, lambda, step functions.
Пока на ум приходит только fixtures в pytest, которые эмулируют вызовы сервисов.
Пока на ум приходит только fixtures в pytest, которые эмулируют вызовы сервисов.
ПБ
Салют! А кроме apache atlas есть что живое? ) из бесплатных )
T
Подскажите как организовать тестирование кода в AWS glue, lambda, step functions.
Пока на ум приходит только fixtures в pytest, которые эмулируют вызовы сервисов.
Пока на ум приходит только fixtures в pytest, которые эмулируют вызовы сервисов.
Ты хочешь end to end? Интеграционные тесты? Или какие?
T
Просто по отдельности это все можно юнит тестами покрыть
T
Для остального лучше иметь staging акк итестить на нем
VP
Салют! А кроме apache atlas есть что живое? ) из бесплатных )
KS
Ты хочешь end to end? Интеграционные тесты? Или какие?
Для начала просто юнит тесты, а далее интеграционные и e2e.
KS
Просто по отдельности это все можно юнит тестами покрыть
То есть это нормально просто pytest fixtures + unit test suite?
T
То есть это нормально просто pytest fixtures + unit test suite?
Ну да, я лямбды unittest встроенным тестирую. Спарк у меня на скале так что там scalatest
KS
Ну да, я лямбды unittest встроенным тестирую. Спарк у меня на скале так что там scalatest
Ну локально как тестировать понятно, а как билды тестировать для glue?
T
Ну локально как тестировать понятно, а как билды тестировать для glue?
Если нету ничего глю специфичного то так же как и любую Спарк джобу
T
Если есть глю специфичное то вот https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html