AP
как говорится, вам шашечки или ехать :) не интересовался их планами по датам финального выпуска
Size: a a a
2021 January 19
RS
AP
Таблицы да, но работать всё-таки удобнее с DataFrames.
Я по крайней мере пробовал и так и так, всё-таки если нужно быстро данные помассировать, то StructArrays не такие удобные.
Я по крайней мере пробовал и так и так, всё-таки если нужно быстро данные помассировать, то StructArrays не такие удобные.
для именно плоских таблиц - наверное, да
но когда есть типа row = (a=(b=1, c=[1, 2]), d="abc"), то dataframes никак не помогают
но когда есть типа row = (a=(b=1, c=[1, 2]), d="abc"), то dataframes никак не помогают
AP
у меня как-то это часто встречается
в питоне приходилось в плоскую структуру переводить чтобы нормально работало, а тут прям не нарадуюсь :)
в питоне приходилось в плоскую структуру переводить чтобы нормально работало, а тут прям не нарадуюсь :)
АО
От задачи зависит.
Если нужно сгруппировать, с кем-нибудь сджойнить, потом с окном пройтись и усреднить, всё-таки проще это через API DataFrames делать (особенно в связке с Chain.jl).
По крайней мере если не хочется время тратить. Так-то конечно можно немного повозиться и все трансформации руками написать.
Если нужно сгруппировать, с кем-нибудь сджойнить, потом с окном пройтись и усреднить, всё-таки проще это через API DataFrames делать (особенно в связке с Chain.jl).
По крайней мере если не хочется время тратить. Так-то конечно можно немного повозиться и все трансформации руками написать.
АО
Я кстати не нашёл хорошего пакета для join. Вроде бы в SplitApplyCombine.jl есть, но он там какой-то очень кривой.
AP
хз, я query.jl юзаю
AP
там и group, и join, и всякие map с filter
AP
работает с любыми таблицами, в отличие от всяких пакетов около dataframes
AP
не всегда прям максимальная производительность, но интерфейс удобный
АО
А 😊 У меня просто к нему давнее недоверие. Я просто смотрел пакеты из вселенной queryverse, они были мягко говоря не очень хорошими внутрими.
Например CSVFiles.jl был настолько медленным, что его Богумил вообще исключил из тестирования, когда он сравнивал производительность разных CSV пакетов.
Например CSVFiles.jl был настолько медленным, что его Богумил вообще исключил из тестирования, когда он сравнивал производительность разных CSV пакетов.
АО
AP
альтернатив вроде нет всё равно
каких-то прям явных проблем не видел в query.jl
каких-то прям явных проблем не видел в query.jl
AP
с csv.jl несколько печальная ситуация кстати
да, он быстрый и всё такое
но блин, чтобы прочитать .csv.gz нужно сначала распакованный контент полностью загрузить в память как массив байт
да, он быстрый и всё такое
но блин, чтобы прочитать .csv.gz нужно сначала распакованный контент полностью загрузить в память как массив байт
АО
Меня это всё-таки радует каждый раз в Джулии. С чем хочешь, с тем и работаешь. Хочешь с Vector{Tuple}, хочешь с StructArray, хочешь с DataFrame и ещё куча вариантов есть. Меняется скорость, удобство, привычность, но есть выбор.
Не то что, "ешьте ваш pandas"
Не то что, "ешьте ваш pandas"
АО
Да.
Я думаю это потому что
Я думаю это потому что
CSV.jl read ahead, плюс у него есть ещё всякие автоопределители, которые тоже пытаются сильно вперёд читать.AP
Меня это всё-таки радует каждый раз в Джулии. С чем хочешь, с тем и работаешь. Хочешь с Vector{Tuple}, хочешь с StructArray, хочешь с DataFrame и ещё куча вариантов есть. Меняется скорость, удобство, привычность, но есть выбор.
Не то что, "ешьте ваш pandas"
Не то что, "ешьте ваш pandas"
плюсую :)
АО
ВРучную, когда я тип данных знал, я руками писал такие потоковые трансформеры.
АО
Но общий пакет, да было бы прикольно. Тем более, что для этого всё есть. Нужно только время и желание это запилить.