Size: a a a

NodeUA - JavaScript and Node.js in Ukraine

2019 December 11

PB

Paul Brunko in NodeUA - JavaScript and Node.js in Ukraine
источник

A

Alexander in NodeUA - JavaScript and Node.js in Ukraine
В грубом приближении для вашей функции в амазоне стартует контейнер. Когда функция одна - все ок. Контейнер запустился, пожил чутка и умер. Когда вызовов функций много контейнер живет и все функции выполняются в нем.

Дальше путем какой-то амазоновской магии все что за пределами функции-обработчика становится "общим" и передается от одного выполнения к другому.

Например, если законнектится к какой-то базе вне функции-обработчика, то у вас будет 1 коннекшн на Х вызовов функций.

Та же магия происзодит и если это не коннекшн к базе :)
источник

A

Alexander in NodeUA - JavaScript and Node.js in Ukraine
Поэтому можно себе специально или случайно сделать какой-то стейт, который будет передаваться из одного вызова в другой, пока живет контейнер. Сколько он будет жить - неизвестно.
источник

AG

Andrij Gudzovskyj in NodeUA - JavaScript and Node.js in Ukraine
Привіт усім! А чи є варіант копіювання файлів із збереженням інформації про дати? Ну там створення, модифікація і т.п. Дякую!
источник

KZ

Kostya Zgara in NodeUA - JavaScript and Node.js in Ukraine
Всем доброго времени суток. Может кто-нибудь подсказать, можно ли в MongoDB вытащить все элемента массива и вставить его на выход. В чем суть. Допустим у меня есть коллекция категория, у которой есть ключ parents. Этот ключ это массив родительских _id этой же коллекции категория. С помощью graphlookup у меня получается найти все родительские категории но они возвращаются в определенный ключ, а мне нужно чтобы они возвращались на одном уровне с дочерними категориями. Вот пример https://repl.it/@KostyaZgara/mongo в каком виде сейчас это возвращается и в каком виде я хочу, чтобы это возвращалось.

P.S. Облазил все операторы из aggregation pipeline stages но ничего путного не нашел, возможно что-то пропустил. Буду рад любой подсказке!
источник

NM

Nikita Machekhin in NodeUA - JavaScript and Node.js in Ukraine
Всем привет. Мне нужно прочитать файл csv больших размеров, сделать его небольшое преобразование и поместить в postgres. Хочу использовать трансформ стрим с объектным режимом на запись и с обычным режимом на чтение, чтобы каждая новая запись помещалась в новый объект и отдавалась. По скольку стрим может возвратить чанк с неполной первой и последней строкой, нормальное ли это решение отбрасывать последнюю строку в каждом чанке, сохранять её в переменную, ждать получения нового чанка и в случае если первая строка в нём будет продолжением последней строки в прошлом чанке, конкатенировать их, отдавать объектом, и затем уже работать с остальной частью чанка?
источник

G

GNU/Vsevolod in NodeUA - JavaScript and Node.js in Ukraine
Nikita Machekhin
Всем привет. Мне нужно прочитать файл csv больших размеров, сделать его небольшое преобразование и поместить в postgres. Хочу использовать трансформ стрим с объектным режимом на запись и с обычным режимом на чтение, чтобы каждая новая запись помещалась в новый объект и отдавалась. По скольку стрим может возвратить чанк с неполной первой и последней строкой, нормальное ли это решение отбрасывать последнюю строку в каждом чанке, сохранять её в переменную, ждать получения нового чанка и в случае если первая строка в нём будет продолжением последней строки в прошлом чанке, конкатенировать их, отдавать объектом, и затем уже работать с остальной частью чанка?
csv-parser умеет в стримы, и в то же время за 1 событие отдает полные строки. Кажется подходит под твой кейс
источник

DD

Dmytro Drachov in NodeUA - JavaScript and Node.js in Ukraine
Nikita Machekhin
Всем привет. Мне нужно прочитать файл csv больших размеров, сделать его небольшое преобразование и поместить в postgres. Хочу использовать трансформ стрим с объектным режимом на запись и с обычным режимом на чтение, чтобы каждая новая запись помещалась в новый объект и отдавалась. По скольку стрим может возвратить чанк с неполной первой и последней строкой, нормальное ли это решение отбрасывать последнюю строку в каждом чанке, сохранять её в переменную, ждать получения нового чанка и в случае если первая строка в нём будет продолжением последней строки в прошлом чанке, конкатенировать их, отдавать объектом, и затем уже работать с остальной частью чанка?
источник

NM

Nikita Machekhin in NodeUA - JavaScript and Node.js in Ukraine
GNU/Vsevolod
csv-parser умеет в стримы, и в то же время за 1 событие отдает полные строки. Кажется подходит под твой кейс
Спс, то что нужно
источник

M

Mark in NodeUA - JavaScript and Node.js in Ukraine
Nikita Machekhin
Всем привет. Мне нужно прочитать файл csv больших размеров, сделать его небольшое преобразование и поместить в postgres. Хочу использовать трансформ стрим с объектным режимом на запись и с обычным режимом на чтение, чтобы каждая новая запись помещалась в новый объект и отдавалась. По скольку стрим может возвратить чанк с неполной первой и последней строкой, нормальное ли это решение отбрасывать последнюю строку в каждом чанке, сохранять её в переменную, ждать получения нового чанка и в случае если первая строка в нём будет продолжением последней строки в прошлом чанке, конкатенировать их, отдавать объектом, и затем уже работать с остальной частью чанка?
https://www.npmjs.com/package/fast-csv
мне в своё время очень зашёл
источник

DD

Dmytro Drachov in NodeUA - JavaScript and Node.js in Ukraine
Kostya Zgara
Всем доброго времени суток. Может кто-нибудь подсказать, можно ли в MongoDB вытащить все элемента массива и вставить его на выход. В чем суть. Допустим у меня есть коллекция категория, у которой есть ключ parents. Этот ключ это массив родительских _id этой же коллекции категория. С помощью graphlookup у меня получается найти все родительские категории но они возвращаются в определенный ключ, а мне нужно чтобы они возвращались на одном уровне с дочерними категориями. Вот пример https://repl.it/@KostyaZgara/mongo в каком виде сейчас это возвращается и в каком виде я хочу, чтобы это возвращалось.

P.S. Облазил все операторы из aggregation pipeline stages но ничего путного не нашел, возможно что-то пропустил. Буду рад любой подсказке!
Не уверен что это законно
https://mongoplayground.net/p/tEth6uxT5vG
источник
2019 December 12

KZ

Kostya Zgara in NodeUA - JavaScript and Node.js in Ukraine
Dmytro Drachov
Не уверен что это законно
https://mongoplayground.net/p/tEth6uxT5vG
Спасибо большое! Тоже не знаю насколько это хорошо, но это хотя бы работает. Потому что трансформировать это через js мне кажется еще хуже
источник

AG

Andrij Gudzovskyj in NodeUA - JavaScript and Node.js in Ukraine
Andrij Gudzovskyj
Привіт усім! А чи є варіант копіювання файлів із збереженням інформації про дати? Ну там створення, модифікація і т.п. Дякую!
Чи є в когось рішення на дану тему???
источник

D

David in NodeUA - JavaScript and Node.js in Ukraine
Andrij Gudzovskyj
Чи є в когось рішення на дану тему???
copy -p ( подробнее man cp)
источник

DD

Dmytro Drachov in NodeUA - JavaScript and Node.js in Ukraine
Kostya Zgara
Спасибо большое! Тоже не знаю насколько это хорошо, но это хотя бы работает. Потому что трансформировать это через js мне кажется еще хуже
Я не совсем понял кейса, это селф жоин по сути и не понимаю зачем делать лукап если можно по идее изначала написать матч с $or . Было бы не плохо если бы ты поделился исходной задачей, бо то что я предложил говницо)
источник

KZ

Kostya Zgara in NodeUA - JavaScript and Node.js in Ukraine
Dmytro Drachov
Я не совсем понял кейса, это селф жоин по сути и не понимаю зачем делать лукап если можно по идее изначала написать матч с $or . Было бы не плохо если бы ты поделился исходной задачей, бо то что я предложил говницо)
Ну суть я уже описывал выше. Я ничего лучше не придумал как хранить зависимости между категориями. Выбрал путь Model Tree Structures with Parent References описанный в доках mongodb https://docs.mongodb.com/manual/tutorial/model-tree-structures-with-parent-references/ . То есть идея была такая, что у категории может быть один или несколько родительских категорий. Соответственно у родительской категории может быть также один или несколько своих родительских категорий и так до определенной вложенности. А суть бизнес задачи была такова, что нужен эндпоинт, который бы возвращал все родительские категори (до максимальной вложенности) определенного продукта в виде обычного списка, без необходимости прохода по каждой категории и не нужно смотреть существует ли ключ parents  и содержит ли он какие-то данные. Так вот оператор $graphlookup по крайней мере мои требование выполняет отлично, он умеет искать эти вложенности, причем возвращает все вложенности в виде обычного списка. Единственная загвоздка была в том, что он возвращает этот список в ключ, то есть это ключ самой дочерней категории. А в список на выход мне надо было включить и эту самую дочерную категорию вместе с родительскими. Плюс все усложняется тем, что для этого всего нужно реализовать другие стандартные операции (пагинацию, lookup, сортировку и тд) поэтому подход через js рассматривал в самом крайнем случае.

P.S. Ваш подход решил все проблемы) Еще раз спасибо)
источник

AG

Andrij Gudzovskyj in NodeUA - JavaScript and Node.js in Ukraine
David
copy -p ( подробнее man cp)
Дякую! Зробив.
источник
2019 December 13

CG

Cutie Green in NodeUA - JavaScript and Node.js in Ukraine
в Intelliji можно рисовать Uml диаграмму классов а потом генерировать из неё код?
источник

V

Vladko in NodeUA - JavaScript and Node.js in Ukraine
Cutie Green
в Intelliji можно рисовать Uml диаграмму классов а потом генерировать из неё код?
Power designer такое умеет делать, но он не поддерживает JS
источник

AA

Aleksandr Androsov in NodeUA - JavaScript and Node.js in Ukraine
хм, а typescript?
источник