Илья
Про второй. Это сборщик остатков списка товаров сетей. Там требования просто присылать данные. Не важно какие. Главное прислать. То что реализация на csv файликах - это еще ничего, но сильно удручает отношение к безопасности данных.
Основные претензии, как я и говорил, не к рядовому ване-программисту, а к управлению ИТ проектами в данных организациях
Вступлюсь за CSV.
Работаем с ритейлерскими сетями, получаем данные практически о всех активностях в магазинах и на рц. Данных много, сетей тоже.
Когда изначально строились, долго выбирали форматы и транспорт. Начиная sql линками поверх ipsec прямо в их базы и заканчивая всякими soap over jms. Очевидно что разводить зоопарк никому не хотелось и стремились найти некий универсальный формат и транспорт который сможет поддержать любой поставщик данных. И сможет реализовывывать выгрузки быстро. Так и остановились на csv over s3/ftps/sftp.
Там много проблем. Кто-то не может осилить кафку, кто-то не может согласовать с безопасниками туннель, у кого-то dba отказывается пускать сторонние компании в базу даже на реплику. А CSV запросто на любом ETL можно собрать, будь то informatica, nifi, airflow или вовсе самописный скрипт на bash. CSV понятен для дзи и относительно универсален для данных.