GP
эх ну это да
Size: a a a
2021 November 03
GP
я чет не подумал
SI
пару секунд я готов подождать чтобы узнать пути до файлов, не беда
DZ
чтобы узнать пути ты поднимаешь жвм, запускаешь спарк сессию, идешь в мс
SI
спарк сессия уже есть, так как до момента скачивания датасета он создается с помощью Spark SQL
SI
Это интерактивный ноутбук чтобы модель пообучать и палкой потыкать, вы о чем?
t
от драйвера
t
DZ
дада
DZ
описался
t
биг дата требует биг драйвера
GP
пукнул
GP
для больших дат нужны большие машины
GP
где противоречие?
t
да я сам ток так и делаю
t
воркеры там чист для вида
GP
нужно всего лишь пандас датафрейм грузануть в 10тб памяти на одной машине что бы ....
GP
ток проблемы от них
сериализация там
сериализация там
GP
и тп
t
не говори