Телеграмм чат группы nodejs

имя файла делать как хеш параметров выборки и в случае обрыва связи или повторного запроса можно не в базу лезть, а сразу файло выкидывать (если нечастые запросы, то кеш можно и раз в сутки чистить)

источник

00:43пожаловаться #5

Ð in Node.js — русскоговорящее сообщество

вместо файл стрима - мемори стрим в буфер

источник

00:44пожаловаться #6

Artem Zuev in Node.js — русскоговорящее сообщество

или через память если там файлы не большие

через память если делать, то тем более потоки нафиг не сдались - считать все в память, архивнуть на лету и выплюнуть в респонс

источник

00:44пожаловаться #7

Andrey Korobeynikov in Node.js — русскоговорящее сообщество

у ноды меомри стрим есть из коробки?

источник

00:45пожаловаться #8

Artem Zuev in Node.js — русскоговорящее сообщество

поток нужен в основных двух случаях:
- когда нужно передать/обработать ну оооочень дохрена объема данных и минимизировать ресурсные затраты
- когда данные идут постоянно и непрерывно и с ними нужно что-то делать, но тут каждая партиция должна быть "атомарной" что ли

источник

00:47пожаловаться #9

Artem Zuev in Node.js — русскоговорящее сообщество

Andrey Korobeynikov

у ноды меомри стрим есть из коробки?

https://stackoverflow.com/questions/38788721/how-do-i-stream-response-in-express

Stack Overflow

How do i stream response in express

I've been trying to get a express app to send the response as stream.

var Readable = require('stream').Readable;
var rs = Readable();
app.get('/report', function(req,res) {

res.statusCode = ...

источник

00:49пожаловаться #10

Andrey Korobeynikov in Node.js — русскоговорящее сообщество

Artem Zuev

Мне кажется со временем столкнусь с первым кейсом

источник

00:50пожаловаться #11

Artem Zuev in Node.js — русскоговорящее сообщество

вот посмотри суть вопроса и сразу же первый ответ... думаю, тут тебе самому все сразу станет понятно... просто из ответа на проблему тебе нужно выплевывать свою строку, которую будешь формировать построчно в процессе чтения строк из БД через курсор

источник

00:50пожаловаться #12

Ð in Node.js — русскоговорящее сообщество

Andrey Korobeynikov

у ноды меомри стрим есть из коробки?

я бы на твоем месте сделал просто из базы в стрим респонса, и не морочил голову. Буфер побольше настроить и ок.

источник

00:51пожаловаться #13

Andrey Korobeynikov in Node.js — русскоговорящее сообщество

тоесть мне достаточно вернуть стрим в боди и должно быть все тип топ ?

источник

00:53пожаловаться #14

Artem Zuev in Node.js — русскоговорящее сообщество

я бы на твоем месте сделал просто из базы в стрим респонса, и не морочил голову. Буфер побольше настроить и ок.

чтобы такое сделать, ему нужно по сути сам запрос сформировать так, чтобы он ему отдавал готовый CSV - чтобы перенаправить потоки...

источник

00:54пожаловаться #15

Ð in Node.js — русскоговорящее сообщество

не вернуть а пайпуть, но только после заголовка с контент тайпом, и только если из базы действительно csv стрим

источник

00:55пожаловаться #16

Artem Zuev in Node.js — русскоговорящее сообщество

запрос к БД имею ввиду... знаю, что ты не любитель ORM - такое можно разве получить простым SQL-запросом без бубна?

источник

00:55пожаловаться #17

Ð in Node.js — русскоговорящее сообщество

если из базы не scv стрим, то тебе нужно либо делать курсор, либо получать массив целиком (привет мемори стрим!) и делать из него строку scv вручную через join и врайтить в респонс

источник

00:56пожаловаться #18

Andrey Korobeynikov in Node.js — русскоговорящее сообщество

Artem Zuev

const queryBuilder = await this._posOrderItemRepo.getOrderItems({});
const stream = (await queryBuilder.stream());
stream
.on('result', (chunk) => chunk)
.on('error', (err) => consoleconsole.log('error:' + err))
.on('end', (end) => consoleconsole.log('end: ' + end));

источник

00:56пожаловаться #19

Andrey Korobeynikov in Node.js — русскоговорящее сообщество

в этих чанках у меня строки

источник

00:56пожаловаться #20