Телеграмм чат группы nodejs

Здравствуйте. Я тут недавно спрашивал как можно записать в бд большой csv файл используя потоки, мне дали несколько указаний. Так вот, файл весит 500мб но при записи оперативки в процесе жрёт вплоть до 2.5гб, потом естественно отрубается, записав всего 30000 документов в бд. Кажется я где-то сильно натупил, с потоками раньше не работал, как и с большими данными. Можете указать на ошибку?

https://gist.github.com/rostikowb/169e09fe632d83666d68e15229f8d051

Gist

script1

GitHub Gist: instantly share code, notes, and snippets.

источник

05:29пожаловаться #8

倫岡

倫太郎岡部 in Node.js — русскоговорящее сообщество

Вернер Карл Гейзенберг - Агент Госдепа

Здравствуйте. Я тут недавно спрашивал как можно записать в бд большой csv файл используя потоки, мне дали несколько указаний. Так вот, файл весит 500мб но при записи оперативки в процесе жрёт вплоть до 2.5гб, потом естественно отрубается, записав всего 30000 документов в бд. Кажется я где-то сильно натупил, с потоками раньше не работал, как и с большими данными. Можете указать на ошибку?

https://gist.github.com/rostikowb/169e09fe632d83666d68e15229f8d051

Gist

script1

GitHub Gist: instantly share code, notes, and snippets.

Зачем тебе потоки?

источник

08:35пожаловаться #9

倫岡

倫太郎岡部 in Node.js — русскоговорящее сообщество

Вернер Карл Гейзенберг - Агент Госдепа

Здравствуйте. Я тут недавно спрашивал как можно записать в бд большой csv файл используя потоки, мне дали несколько указаний. Так вот, файл весит 500мб но при записи оперативки в процесе жрёт вплоть до 2.5гб, потом естественно отрубается, записав всего 30000 документов в бд. Кажется я где-то сильно натупил, с потоками раньше не работал, как и с большими данными. Можете указать на ошибку?

https://gist.github.com/rostikowb/169e09fe632d83666d68e15229f8d051

Gist

script1

GitHub Gist: instantly share code, notes, and snippets.

Тут стрим надо наверное, а это этот кошмар

источник

08:36пожаловаться #10

AK

Alex Konstantinov in Node.js — русскоговорящее сообщество

Вернер Карл Гейзенберг - Агент Госдепа

Здравствуйте. Я тут недавно спрашивал как можно записать в бд большой csv файл используя потоки, мне дали несколько указаний. Так вот, файл весит 500мб но при записи оперативки в процесе жрёт вплоть до 2.5гб, потом естественно отрубается, записав всего 30000 документов в бд. Кажется я где-то сильно натупил, с потоками раньше не работал, как и с большими данными. Можете указать на ошибку?

https://gist.github.com/rostikowb/169e09fe632d83666d68e15229f8d051

Gist

script1

GitHub Gist: instantly share code, notes, and snippets.

Имплементируй Transform https://nodejs.org/dist/latest-v12.x/docs/api/stream.html#stream_implementing_a_transform_stream
Тебе нужно будет сделать что-то вроде readYourFileStream.pipe(yourTransformStream).pipe(dbWriteStream)
Ну, или можешь просто

Write

заимплементить, без

Transform

источник

08:37пожаловаться #11

Fd

Flop deb in Node.js — русскоговорящее сообщество

Всем добрый день. нужно реализовать живой поиск по бд Sqlite. Поделитесь можалуйста какой либо инфой, или может у кого мануал есть. Буду благодарен. гугл особо ни чего не дает

источник

08:53пожаловаться #12

wo

went out in Node.js — русскоговорящее сообщество

Вернер Карл Гейзенберг - Агент Госдепа

Здравствуйте. Я тут недавно спрашивал как можно записать в бд большой csv файл используя потоки, мне дали несколько указаний. Так вот, файл весит 500мб но при записи оперативки в процесе жрёт вплоть до 2.5гб, потом естественно отрубается, записав всего 30000 документов в бд. Кажется я где-то сильно натупил, с потоками раньше не работал, как и с большими данными. Можете указать на ошибку?

https://gist.github.com/rostikowb/169e09fe632d83666d68e15229f8d051

Gist

script1

GitHub Gist: instantly share code, notes, and snippets.

https://nodejs.org/en/docs/guides/backpressuring-in-streams/

Node.js

Backpressuring in Streams | Node.js

Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.

источник

09:01пожаловаться #13

ТК

Таймураз Кайтмазов in Node.js — русскоговорящее сообщество

!спам

источник

09:50пожаловаться #14

AS

Andrei St in Node.js — русскоговорящее сообщество

парни я devops мне нужно понимает работает приложение или нет сделал

  router.get('/ready', (ctx: any) => {
    ctx.response.body = { message: 'App ready' };
    ctx.response.status = 200;
  });

вопрос как вывести в stdout все логи обращения как http 200 так и ошибки типа http 503 и тд

источник

10:03пожаловаться #15

V

Valentin in Node.js — русскоговорящее сообщество

Alex Konstantinov

В 2020 году жить на callback...

А в чем проблема?

источник

10:03пожаловаться #16

I

Ivan in Node.js — русскоговорящее сообщество

Как выйти из командной строки node? 😲

источник

10:14пожаловаться #17

ДК

Дмитрий Кузнецов in Node.js — русскоговорящее сообщество

Ctrl + C

источник

10:14пожаловаться #18

L

Lee Armstrong in Node.js — русскоговорящее сообщество

Ivan

Как выйти из командной строки node? 😲

Как и из любой другой

источник

10:14пожаловаться #19

I

Ivan in Node.js — русскоговорящее сообщество

Дмитрий Кузнецов

Ctrl + C

Я думал, там команда есть. Так то я бы сразу смог.

источник

10:15пожаловаться #20