N
Я не спец по стримингу, но мне кажется Спарк не умеет читать с локальных файловых систем
Size: a a a
2021 July 14
N
С чего бы вдруг?
N
Ну значит я ошибаюсь. Просто не использовал такое и слабо себе представляю для чего так делать
GP
умеет отовсюду что имплементит хадуп ио
GP
в том числе локальные фс
GP
надо что б тесты писать и локально разрабатывать без мороки с фс другими, можно отложить на потом это или других людей занять разборками с фс
N
Такой себе пример конечно
GP
почему? ты чтоб бизнес логику какуюто разрабатывать и покрывать тестами сразу хдфс поднимаешь?
N
Мы не работаем с "единичными файликами", поэтому локально особо ничего не протестируешь. Для хранилищ плохо подходят стандартные методики тестирования принесенные из классической разработки ПО.
N
А в чём сложность минидфс кластер поднять?
GP
долг
GP
минидфс поднимаешь когда хоть чтото готово
N
Вам чтобы логику трансформации протестировать обязательно надо 100500 файлов на hdfs и запуск через ярн? 5 локальных файлов из ресурсов в локальной сессии никаких не подойдут?
N
К сожалению нет
N
Во-первых, некоторые источники могут быть вовсе не файловыми
N
Во-вторых, на 5 локальных файлах у вас на первых же этапах трансформации получится пустая выборка, что в дальнейшем сводит на нет всё тестирование
N
Даже интересно стало, что за источник нельзя поднять в контейнере и запопулейтить тестовыми данными.
N
Вы предлагаете всё используемые источники локально поднимать?
N
Нет, спасибо
N
Да и нельзя нам вообще копировать данные на локальные АРМы. А самому генерить такое - не