В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Язык программирования Julia / Julia programming language

522 membersпожаловаться на группу
2021 January 19

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
Андрей Оськин
Да.
Я думаю это потому что CSV.jl  read ahead, плюс у него есть ещё всякие автоопределители, которые тоже пытаются сильно вперёд читать.
ага, я спрашивал у автора в слаке про это
просто странно как-то выглядит такое решение, ведь большие csv файлы обычно встречаются в сжатом виде
источник
18:01пожаловаться#1

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
а на маленьких скорость всё равно не так важна
источник
18:02пожаловаться#2

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
кстати, скоро в pluto такая штука появится (по ссылке есть видео) - https://github.com/fonsp/Pluto.jl/pull/844
само будет устанавливать пакеты и записывать версии для полной воспроизводимости
GitHub
🎁 Built-in Pkg management, take 2 by fonsp · Pull Request #844 · fonsp/Pluto.jl
more screenshots at the bottom of this message!
The two main goals are:


Package versions inside the notebook file 👉👉 by default!
using Example should install Example


This feature is designed wi...
источник
18:17пожаловаться#3

A

Arthur in Язык программирования Julia / Julia programming language
Андрей Оськин
Да.
Я думаю это потому что CSV.jl  read ahead, плюс у него есть ещё всякие автоопределители, которые тоже пытаются сильно вперёд читать.
А разве CSV.File не потоково читает?
источник
19:32пожаловаться#4

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
нет, он mmap файла делает
с .csv.gz такое конечно не работает
источник
19:36пожаловаться#5

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Там чуть сложнее.

https://github.com/JuliaData/CSV.jl/blob/d2197f0778d573a969083d991b44854ddb299653/src/utils.jl#L239-L258
GitHub
JuliaData/CSV.jl
Utility library for working with CSV and other delimited files in the Julia programming language - JuliaData/CSV.jl
источник
19:43пожаловаться#6

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
То есть ему можно попытаться скормить какой-нибудь хитрый IO, но он его просто считает в память и всё.
источник
19:43пожаловаться#7

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
И ещё и выругается при этом.
источник
19:44пожаловаться#8

A

Arthur in Язык программирования Julia / Julia programming language
Хм, а CSV.Rows не пробовали? Из доков: Very minimal memory footprint; while iterating, only the current row values are buffered
источник
20:04пожаловаться#9

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
это всё относится только к чтению из обычного csv файла на диске или из массива байт
источник
20:05пожаловаться#10

АО

Андрей Оськин... in Язык программирования Julia / Julia programming language
Там не имеет значения, File или Rows. И в том и в другом случае он сначала засовывает данные в память.
источник
20:08пожаловаться#11

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
да, я напрямую спрашивал у автора, он говорит что чтения из потока нет и не было
источник
20:09пожаловаться#12

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
просто до какой-то версии deprecation не выдавался когда передаёшь iostream
источник
20:09пожаловаться#13

A

Arthur in Язык программирования Julia / Julia programming language
У rows есть итерации, которые похоже по одному читают, или я неправильно код понимаю: https://github.com/JuliaData/CSV.jl/blob/9b2ebe30f967dc102997700fcf114a7e041e3b33/src/rows.jl#L219
GitHub
JuliaData/CSV.jl
Utility library for working with CSV and other delimited files in the Julia programming language - JuliaData/CSV.jl
источник
20:10пожаловаться#14

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
при создании Rows() вызывается  Header(), он вызывает getsource(), а там read(): https://github.com/JuliaData/CSV.jl/blob/main/src/utils.jl#L247
GitHub
JuliaData/CSV.jl
Utility library for working with CSV and other delimited files in the Julia programming language - JuliaData/CSV.jl
источник
20:13пожаловаться#15

A

Arthur in Язык программирования Julia / Julia programming language
Блин, то есть про memory footprint относится только к буферу, который после парсинга значения хранит
источник
20:15пожаловаться#16

A

Arthur in Язык программирования Julia / Julia programming language
Как-то не интуитивно
источник
20:15пожаловаться#17

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
повторюсь что при чтении из обычного csv файла это верно
источник
20:15пожаловаться#18

AP

Alexander Plavin in Язык программирования Julia / Julia programming language
действительно хранит только текущие значения
источник
20:16пожаловаться#19

A

Arthur in Язык программирования Julia / Julia programming language
Да, я про gz
источник
20:17пожаловаться#20