ЛА
какие еще варианты то?
Size: a a a
2020 May 26
C
Ну судя по доке декодер так умеет. Лично не тестил, жил на goquery
аналогично
2020 May 27
VM
Но в итоге на это вообще можно было забить, так как узкое место было в чтении файла в память
Скок читалось?
VM
У меня 7гб csv с конвертацией в int парсится в мапу довольно быстро
VM
Секунду где-то
VM
Конвертация + парсинг, чтение 3с
IK
Да у меня тоже все быстро
IK
Просто памяти жрало дофига, пока я читать по чуть-чуть не стал
АП
шо тут? опять на спичках экономите?
АП
в задаче протолкнуть слона в ваакуме в посудную лавку
U
Просто памяти жрало дофига, пока я читать по чуть-чуть не стал
В итоге тесты прошли ? На го?
АП
интересно... есть ли в test ограничения по памяти встроенное
АП
было бы интересно бахнуть пару кейсов "должен алоцировать не больше N gb" "не больше N загрузки процессора"
АП
иначе фейл
p
Конвертация + парсинг, чтение 3с
7гб в память засасываешь?
VM
Если ты про файл, то нет
p
интересно... есть ли в test ограничения по памяти встроенное
Интересный кейс. В принципе, можно себе через rlimit порезать и упасть если не вписались. Но там per process
p
Если ты про файл, то нет
А как тогда ты разделил чтение и парсинг?
VM
csvFile, err := os.Open(rootPath)
r := csv.NewReader(csvFile)
for {
row, err := r.Read()
}
отдельно замерил это и это + парсинг)