В смысле последнее😐

Обязательное решение

На кластере из 30 человек

Зависит от подготовленности этих людей и количества данных. Если питон на начальном уровне, то конечно все склеит ласты

а так всё и есть.

Да на начальном даже не знают, как нормально проц забить😆

зато по мануалам знают, как взять датасет гигабайт в дцать, потом второй, и потом поджойнить в пандасе

но если цепелин еще не крутили, там и так общий на всех интерпретатор и все 35 человек будут ждать своей очереди на запуск :)

Spark на одной машине эффективней pandas?

16 ram 8 cpu

тогда уж https://koalas.readthedocs.io/en/latest/

лол

Если вопрос не корректный, не бейте

если распараллелишь на пандасе вычисления то будет быстрее.

+

Звучит сложно

По потокам?

Привет.
Подскажите пож-та aws kinesis data streams:
1. есть какая-то удобная тула, чтобы читать/писать данные из стрима (что-то вроде kafka-tool, kafka cli)?
2. подкиньте ссылку как можно локально отлаживать flink app для kinesis analytics?
3. если мне нужно прочитать одни и теже данные из стрима несколько раз (делаю это через aws cli), то использую --shard-iterator-type TRIM_HORIZON. Но почему-то при повторной попытке (даже с новым shard-iterator) не возвращает данные. Что делаю не так?

тогда посомтри либу что скинул выше. да по потокам.

Не понятно зачем мне это делать