Два года назад мы (компания Scentbird), пережив серьезный рост, решили строить свою систему аналитики для обеспечения необходимой гибкости. Мы постоянно совершенствуемся в этом направлении, и самым качественным изменением в нашей архитектуре за последнее время стал переход от ETL к ELT-концепции посредством инструмента DBT. Это позволило нам сосредоточится на бизнес-смысле перевозимых данных, вместо технических особенностей процесса трансформации данных.В отведенные 45 минут обсудим:- отличия концепции ETL и ELT на примере нашего стека технологий;- базовые концепции инструмента для преобразования данных DBT;- как мы используем DBT для построения сложных моделей, а также осуществляем тестирование данных;- как масштабируется такое решение.

Бизнес-модели клиентов создают разные сценарии использования продукта и разные профили нагрузки. Подготовить под каждого индивидуальную тестовую среду невозможно и не имеет смысла. Достаточно создать усредненный вариант и покрыть там самые популярные кейсы использования платформы. Расскажу, как был написан PoC Tester — фреймворк для описания логики работы клиентских узлов, которые симулируют реальную нагрузку на тестовый кластер — и какие задачи пришлось решить в процессе: * как оптимально сконфигурировать тестовый стенд по количеству узлов;* как добавить в один тестовый сценарий наибольшее количество пользовательских кейсов;* какие внешние воздействия можно внедрить в сценарий для проверки надежности и устойчивости кластера при возникновении нештатных ситуаций;* как после прогона настолько сложного сценария понять, что он успешен.

Важно видеть то, как сервисы взаимодействуют между собой до выхода в продакшн. Но что делать с факторами, выходящими за рамки простых тестов? Как поведет себя система, когда сеть тормозит, сервис в цепочке сломали, подсеть отвалилась? Мы покажем вам, как наблюдать за логикой работы сервисной системы, когда в сети творится хаос! На самом важном для вас уровне — уровне разработчика сервисов.Мы покажем только интересное о том, как:1. смоделировать большую распределенную сеть на одном узле?2. подключить внешние сервисы?3. смотреть за сообщениями в протоколе?4. интерактивно динамически мучить сервисы и сеть;5. описать процесс в виде воспроизводимого теста (из кода).Вся эта магия средствами ПО с открытым исходным кодом. С автоматизацией процесса за 300 строк или меньше!