VM
у него я как понял csv слишком большой что бы влезть в память
7гб файл в памяти будет весить несколько больше 10гб, даже если оператива есть - это бессмысленно. В csv нет гарантий валидности
Size: a a a
2020 May 27
p
ты чего-то знаешь, что никто не знает?)))
Я просто видел самописные парсеры csv :) штатный не блещет скоростью ))
АП
7гб файл в памяти будет весить несколько больше 10гб, даже если оператива есть - это бессмысленно. В csv нет гарантий валидности
и как это опровеграет мои слова что он не лезет?
АП
что-то я не понял
VM
и как это опровеграет мои слова что он не лезет?
Не опровергает, подтверждаю
VM
Я просто видел самописные парсеры csv :) штатный не блещет скоростью ))
И что там в самописных?
VM
100гб за 3с?)
C
И что там в самописных?
они по две строки едят
C
))
VM
они по две строки едят
В горутинах надеюсь
VM
С asm
C
но вообще, видать батчами херачит многопоточно ) потом разбирается сколько переносов строк
АП
p
И что там в самописных?
Скан по запятым до \n => новая строка
C
Скан по запятым до \n => новая строка
так, а чем это отличается от построчного чтения?
C
немного не догоняю
p
но вообще, видать батчами херачит многопоточно ) потом разбирается сколько переносов строк
Ну можно просто весь файл мапнуть в память
АП
Ну можно просто весь файл мапнуть в память
так нельзя же
VM
АП
ну так можно все собеседование провалить :)