М
Нет фильтрации. Это итоговый файл (сделанный в R). В котором скрыто много интересного и полезного. Хотел покрутить его в пайтоне, чтобы руку набить, так как изначально Rщик.
Size: a a a
2021 August 25
М
Не умеет читать имеется в виду, что если попытаться прочесть 5 гиговый файл на машине с 16 гб, то получишь краш по памяти)
IS
Кривоватенько, если честно… Сэкономили. Не все на маках или линухах, многие мыслят только 1251. Black & white вытирают тщательно в репозиториях, а здесь «utf only»
PZ
ориентировочно около 50% на русскоязычных текстах сэкономили .
или вы имеете ввиду как много сэкономили программисты этого самого polars ?
или вы имеете ввиду как много сэкономили программисты этого самого polars ?
PZ
Ну это уже не нам решать) (к вопросу о выборе технологий, которые никто не знает)
IS
Процедуры импорта надо делать максимально гибко. Ведь ими пользуются миллионы людей. Каждый прокол сказывается на многих. Ведь и остальные кодовые страницы тоже в игноре
IS
а что, если забить на все эти пандасы и поларсы и почитать с помощью https://arrow.apache.org/docs/python/csv.html ?
там тоже только юникод, увы. но по скорости он должен быть круче.
И тот же Wes McKinney автор.
там тоже только юникод, увы. но по скорости он должен быть круче.
И тот же Wes McKinney автор.
M
Все равно же ограничение по ram
IS
5 vs 16 должно бы хватать?
M
Ну во-первых 5 это csv, в памяти это может быть как меньше, так и больше. Во-вторых, в том же пандасе с памятью странные штуки происходят, когда для некоторых операций нужно х2-х4 памяти.
M
Так что как по мне, 5 это уже железно out of core, если только у вас скажем не 64
IS
Они не странные, а «by design». Может и в большее разожмется но это достаточно редко
s
Csv и не влезает в 3х по памяти? Ну, если только пожатый) строка больше числа занимает) но можно иначе - порезать и читать частями в разные фреймы, потом оптимизировать типы и сливать на диск итеративно. Когда все будет готово вычитать и объединить. Тогда влезть должно.
IS
fread читает?M
Ну вот dask это и делает, только прозрачно для пользователей
M
Скажите, а кто какие значет варианты как доставить графики до конечных пользователей? Вот скажем я написал SQL, вытащил DataFrame, построил график в bokeh/matplotlib/ещё в чём-то. Как дальше его расшарить в рамках бизнеса?
M
Вопрос именно про опенсорсные библиотеки для графиков, понятно что есть Tableau, Superset и всякое такое
PZ
То есть superset не катит?
Тогда есть voila
Тогда есть voila
LT
Redash
M
мне superset не нравится тем, что настраиваемость низкая. Я угораю по визуализации, и мне кастомизация нужна как в Tableau примерно. Redash туда же куда Superset