Size: a a a

Node.js — русскоговорящее сообщество

2020 February 02

S🛸

Sergey 🛸 in Node.js — русскоговорящее сообщество
Вернер Карл Гейзенберг - Агент Госдепа
Здравствуйте. Есть вопрос. Можно ли потоком отправить файл csv с клиента на сервер, на сервере тот же поток на ходу переделывать в json и также на ходу добавлять инфу в бд? Просто файлы большие, желательно не забивать в оперативку.
Только зачем в json, почему бы сразу csv не добавлять в БД?
источник

KG

Kool Guy in Node.js — русскоговорящее сообщество
в ` оберни
источник

KG

Kool Guy in Node.js — русскоговорящее сообщество
или "
источник

В-

Вернер Карл Гейзенберг - Агент Госдепа in Node.js — русскоговорящее сообщество
Sergey 🛸
Можно
Ок, как это сделать?) Можете ещё связку модулей написать? Я с потоками работал только в fs.
источник

Ð

Ð in Node.js — русскоговорящее сообщество
Вернер Карл Гейзенберг - Агент Госдепа
Здравствуйте. Есть вопрос. Можно ли потоком отправить файл csv с клиента на сервер, на сервере тот же поток на ходу переделывать в json и также на ходу добавлять инфу в бд? Просто файлы большие, желательно не забивать в оперативку.
да, самый прикольный путь это стримить csv прямо в бд
источник

YH

Yaroslav Hiiiiiii in Node.js — русскоговорящее сообщество
Kool Guy
в ` оберни
атрибуты ?
источник

Ð

Ð in Node.js — русскоговорящее сообщество
но лучше через буфер на диске, так как меньше ожидание блокировки, или отдельными интертами
источник

KG

Kool Guy in Node.js — русскоговорящее сообщество
Yaroslav Hiiiiiii
атрибуты ?
да
источник

В-

Вернер Карл Гейзенберг - Агент Госдепа in Node.js — русскоговорящее сообщество
Ð
но лучше через буфер на диске, так как меньше ожидание блокировки, или отдельными интертами
Тоесть сначала выгрузить на сервак создав временные файлы а оттуда уже записать потоками в бд?
источник

Ð

Ð in Node.js — русскоговорящее сообщество
Вернер Карл Гейзенберг - Агент Госдепа
Тоесть сначала выгрузить на сервак создав временные файлы а оттуда уже записать потоками в бд?
да, я бы наверное так и сделал. Обычный аплоад, и потом COPY из csv
источник

YH

Yaroslav Hiiiiiii in Node.js — русскоговорящее сообщество
оооооо заработало, двойные кавычки заворкалы, спасибо тебе большое, я в школе твой ник на парте за это нацарапаю
источник

KG

Kool Guy in Node.js — русскоговорящее сообщество
лол )
источник

V

Vitaly in Node.js — русскоговорящее сообщество
Yaroslav Hiiiiiii
оооооо заработало, двойные кавычки заворкалы, спасибо тебе большое, я в школе твой ник на парте за это нацарапаю
лучше татуху сразу)
источник

YH

Yaroslav Hiiiiiii in Node.js — русскоговорящее сообщество
та не ну не перегибай, он ж не таску закрыл мне, а только модели сгенерить помог и миграции
источник

S🛸

Sergey 🛸 in Node.js — русскоговорящее сообщество
Вернер Карл Гейзенберг - Агент Госдепа
Ок, как это сделать?) Можете ещё связку модулей написать? Я с потоками работал только в fs.
Берешь Стрим с http, пишешь во временную переменную пока не найдешь перевод строки, записываешь данные в БД, удаляешься данные до перевода строки из временной переменной, повторяешь
источник

V

Vitaly in Node.js — русскоговорящее сообщество
Yaroslav Hiiiiiii
та не ну не перегибай, он ж не таску закрыл мне, а только модели сгенерить помог и миграции
та шутка)
источник

Ð

Ð in Node.js — русскоговорящее сообщество
Yaroslav Hiiiiiii
та не ну не перегибай, он ж не таску закрыл мне, а только модели сгенерить помог и миграции
ноду обнови, что за древность
источник

Ð

Ð in Node.js — русскоговорящее сообщество
Sergey 🛸
Берешь Стрим с http, пишешь во временную переменную пока не найдешь перевод строки, записываешь данные в БД, удаляешься данные до перевода строки из временной переменной, повторяешь
прикол в том что в одном чанке могут быть несколько переводов строк, чтобы не влезать в нюансы можно подрубить readline
источник

V

Vitaly in Node.js — русскоговорящее сообщество
Ð
ноду обнови, что за древность
наверно Инет просто слабый, или трафика мало осталось
источник

S🛸

Sergey 🛸 in Node.js — русскоговорящее сообщество
Ð
прикол в том что в одном чанке могут быть несколько переводов строк, чтобы не влезать в нюансы можно подрубить readline
Никак не противоречит моему описанию
источник