Y
Andrey Listochkin
Если Нод свежий, то можно без промисифая: const { pipeline } = require('stream/promises');
Спасибо!
Size: a a a
2020 December 19
М
В доке все очень подробно описано https://nodejs.org/dist/latest-v14.x/docs/api/stream.html#stream_stream_pipeline_source_transforms_destination_callback
Привет, пробовал оба варианта - с пайпом и с пайплайном, нашел еще вариант с stream.finished (он по идее должен лучше мне подходить, потому что доп операций с выгруженным стримом мне проводить не нужно), но он не работает как описано в доке. Изложил все три варианта в коде. Если подскажете что я делаю не так - буду очень благодарен.
https://codesandbox.io/s/dry-cache-c7jf8?file=/src/index.js
https://codesandbox.io/s/dry-cache-c7jf8?file=/src/index.js
М
нода у меня 14.15, последняя лтс, а в сендбоксе 10, но все описанные методы поддерживаются с 10ой ноды
М
пока для себя решил проблему через юзедж
но было бы интересно узнать как такие штуки нормально должны хендлиться и почему варианты со стримами не работают
await fs.promises.readFile(FILE_PATH)
но было бы интересно узнать как такие штуки нормально должны хендлиться и почему варианты со стримами не работают
Y
Привет, пробовал оба варианта - с пайпом и с пайплайном, нашел еще вариант с stream.finished (он по идее должен лучше мне подходить, потому что доп операций с выгруженным стримом мне проводить не нужно), но он не работает как описано в доке. Изложил все три варианта в коде. Если подскажете что я делаю не так - буду очень благодарен.
https://codesandbox.io/s/dry-cache-c7jf8?file=/src/index.js
https://codesandbox.io/s/dry-cache-c7jf8?file=/src/index.js
Из того, что сразу видно, Вы пишете в WriteStream и не закрываете его (ws.end()). После этого открываете ReadStream на этом же файле, который потенциально еще не записался до конца
Y
А Вы пишете в файл и сразу его отдаете с диска для примера или в оригинальном коде такая же логика?
М
А Вы пишете в файл и сразу его отдаете с диска для примера или в оригинальном коде такая же логика?
да, логика такая же в оригинальном коде.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
Y
да, логика такая же в оригинальном коде.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
Метод то закрывает, но окончание записи в stream не значит, что получатель успел все вычитать из стрима к тому моменту, как вы начинаете читать файл
Y
csv.writeToStream(ws, [{ A: "a", B: "b" }], { headers: true });
Выполнение данной строки не значит, что ws получил все данные и записал их на дискY
да, логика такая же в оригинальном коде.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
вот вы сейчас написали об этом, и я подумал что я в любом случае возвращаю буфер в респонсе, убрал вообще запись в файл через стрим/чтение из файла и использовал writeToBuffer ф-цию из csv либы с тем же результатом (работает ок).
А по поводу закрытия WriteStream - метод библиотеки сам закрывает стрим в конце операции.
А где Вы прочитали, что writeToStream закрывает stream?
Во всех примерах в доке он закрывается явно https://c2fo.io/fast-csv/docs/formatting/examples
Во всех примерах в доке он закрывается явно https://c2fo.io/fast-csv/docs/formatting/examples
Y
https://c2fo.io/fast-csv/docs/formatting/methods#writetostream
Write an array of values to a WritableStream, and returns the original stream
Write an array of values to a WritableStream, and returns the original stream
М
насколько я понимаю, это как раз кейс для использования пайплайна, чтобы убедиться что все прошло получилось и записалось на диск
тип
тип
await pipeline (fs.createWriteStream(...), csv.writeToStream(...), еще операция, и тд)хм, а когда я пытался его закрыть после метода - мне вылетала ошибка что стрим уже был закрыт
Y
А вот из их примера как обернуть в promise
new Promise((res, rej) => {
writeToStream(stream, rows, options)
.on('error', (err: Error) => rej(err))
.on('finish', () => res());Y
насколько я понимаю, это как раз кейс для использования пайплайна, чтобы убедиться что все прошло получилось и записалось на диск
тип
тип
await pipeline (fs.createWriteStream(...), csv.writeToStream(...), еще операция, и тд)хм, а когда я пытался его закрыть после метода - мне вылетала ошибка что стрим уже был закрыт
А какой Вы stream закрывали? ws или csv?
М
ws
ааа, вот оно что
ааа, вот оно что
Y
В общем, стримы нужно явно закрывать после того, как все записали
Y
@teorge А вот код writeToStream, если интересно. Он делает только pipe в тот stream, который ему передают
https://github.com/C2FO/fast-csv/blob/master/packages/format/src/index.ts#L34
https://github.com/C2FO/fast-csv/blob/master/packages/format/src/index.ts#L34
Y
Вот тут есть диаграмма того как работает pipe https://nodejs.org/en/docs/guides/backpressuring-in-streams/
М
@teorge А вот код writeToStream, если интересно. Он делает только pipe в тот stream, который ему передают
https://github.com/C2FO/fast-csv/blob/master/packages/format/src/index.ts#L34
https://github.com/C2FO/fast-csv/blob/master/packages/format/src/index.ts#L34
всего то нужно было чуть дольше покопаться в исходниках и доках
понял, спасибо большое, буду изучать
понял, спасибо большое, буду изучать
Y
всего то нужно было чуть дольше покопаться в исходниках и доках
понял, спасибо большое, буду изучать
понял, спасибо большое, буду изучать
Не за что)
Я точно так возился с archiver. Генерировал CSV, добавлял в архив и стримил клиенту. Иногда прилетал битый архив. Разбирался как работают streams, смотрел код archiver.
Кстати, вот еще неплохая статья по streams https://github.com/substack/stream-handbook
Я точно так возился с archiver. Генерировал CSV, добавлял в архив и стримил клиенту. Иногда прилетал битый архив. Разбирался как работают streams, смотрел код archiver.
Кстати, вот еще неплохая статья по streams https://github.com/substack/stream-handbook