AZ
Именно читать?
for el in parse.(Int, split(readline("/tmp/foo.csv"), ";"))
x = el
endSize: a a a
2020 February 24
АО
АО
Вместо
/tmp/foo.csv надо подставить путь до своего файлаАО
Ну и конечно что-то поумнее чем
x = el сделать ^_^АО
Но я всё ещё уверен, что это не та проблема, которая решается на самом деле и скоро будут новые вопросы 😊
KT
А можно ли его читать как итератор, а не разом в память загонять
KT
В данном случае не критично конечно
АО
Хороший вопрос.
Точно можно через
Точно можно через
mmap, хотя я сам никогда не пробовал.АО
Но вообще, надо поискать, есть ли в Julia что-то типа стриминга файлов.
АО
Да, конечно есть.
АО
open("/tmp/foo.csv") do f
val = Char[]
while !eof(f)
c = read(f, Char)
if (c == ';') | (c == '\n')
println(parse(Int, String(val)))
empty!(val)
else
push!(val, c)
end
end
if !isempty(val)
println(parse(Int, String(val)))
end
endАО
Вот такой примитивный стрим ридер с квази fsm
KT
Да, так можно ) просто думал, может они уже сами CSV в итератор обернули
АО
А! Кто-нибудь наверняка это сделал.
АО
Товарищ из CSVFiles говорил, что у него в планах есть сделать стримминг.
АО
Но правда CSVFiles настолько ужасные, что толку от этого мало.
АО
Вот из мануала
The returned CSV.File object supports the Tables.jl interface and can iterate CSV.Rows
CSVThe returned CSV.File object supports the Tables.jl interface and can iterate CSV.Rows
АО
Так что видимо уже умеют.
АО
for row in CSV.File(file)
println("a=$(row.a), b=$(row.b), c=$(row.c)")
end
АО
Точнее даже так
While similar to CSV.File, CSV.Rows provides a slightly different interface, the tradeoffs including:
* Very minimal memory footprint; while iterating, only the current row values are buffered
* Only provides row access via iteration; to access columns, one can stream the rows into a table type
* Performs no type inference; each column/cell is essentially treated as Union{String, Missing}, users can utilize the performant Parsers.parse(T, str) to convert values to a more specific type if needed
for row in CSV.Rows(file)
println("a=$(row.a), b=$(row.b), c=$(row.c)")
end
While similar to CSV.File, CSV.Rows provides a slightly different interface, the tradeoffs including:
* Very minimal memory footprint; while iterating, only the current row values are buffered
* Only provides row access via iteration; to access columns, one can stream the rows into a table type
* Performs no type inference; each column/cell is essentially treated as Union{String, Missing}, users can utilize the performant Parsers.parse(T, str) to convert values to a more specific type if needed