Всем доброй ночи. Не знаю или по адресу, но все-таки спрошу. Есть не сильно много опыта работы с Scalyr и AWS, может коллективный разум поможет. )
В один S3 бакет, валятся сотни тысяч мелких json-файлов в день. Каждый из них надо обрабатывать и... швырять в Scalyr. Event появления нового файла в бакете триггерит функцию в AWS Lambda, которая занимается обработкой данных json, и ... и дальше надо как-то обработанные данные зашвырнуть в Scalyr.
Пожалуйста, не спрашивайте почему в Scalyr, а не в ELK (что было бы дешевле и проще). Так вот вопрос... Собственно каким образом можно это заливать в Scalyr? Скидывать все в один файл, не знаю насколько это вариант, так как json файлы могут приходить одновременно, к примеру в одну секунду может прилететь 10-20 000 файлов. Не могу определить механизм нормальный для подобного действия... Может кто, сталкивался с чем-то подобным?