Sa
Интересно, сколько процентов людей пройдет этот тест)
Size: a a a
2021 September 17
ИК
Сколько людей пройдёт этот тест с помощью бигдаты, вот вопрос))
PK
От специалиста по бигдате не требуется проходить тест тьюринга. Главное, чтоб просто не мычал
Р
не долго пришлось ждать )
ИК
ну теперь надо решить, полтос чего?
A
Партиций
ИК
жить без них не могу, но и так сотни тысяч у меня
ЕГ
Это дсу на джуна тестовое
GP
килобайт (хватит всем)
ПБ
И руки не дрожали)
2021 September 18
Н
А кто-нибудь знает можно ли Spark использовать как API или как-то отдавать данные другой API?
Например, у меня есть сервис на Django и я хочу получить пачку данных от спарка
Например, у меня есть сервис на Django и я хочу получить пачку данных от спарка
ЕГ
Можно кинуть запрос и вернуть результат с драйвера
ЕГ
Или можно даже с экзекутора, сделать repartition(1) и кинуть оттуда ответ
ЕГ
Из UDF
Д
А почему с экзекутора нельзя ?
ЕГ
Льзя)
Д
И зачем юдф ?
ЕГ
Ну если ответ в виде датафрейма
Н
получается в джобе нужно сервер реализовать, чтобы принимать запросы
Д
Даже емли и в дф ...