EB
на больших данных теряются доли процента, возможно не заметил
понял, я сам не сталкивался, так как прям кучу данных не гонял. Вряд ли это поможет конечно, но судя по всему где-то в связке backpressuring не хэндлится
Size: a a a
2019 December 02
A
понял, я сам не сталкивался, так как прям кучу данных не гонял. Вряд ли это поможет конечно, но судя по всему где-то в связке backpressuring не хэндлится
ээ а при чем тут backpressuring ?
EB
ээ а при чем тут backpressuring ?
ну мб какой-то из стримов в связке не ставится на паузу когда буфер заполнен, и теряет данные, хотя не исключено что это не о том😄 особенно если это дефолтные стримы
EB
я просто хз что в реализации, может есть кастомный не до конца протестированный код, который логи эмитит или еще чего-то
A
он их не теряет, они просто в разных чанках.
Вот смотри - представим что у нас есть лог который выклядит так
Вот смотри - представим что у нас есть лог который выклядит так
[aaa bbb] foo: multiline
bar baz bag
[aaa bbb] foo: multiline2
bar baz bag2
АП
он их не теряет, они просто в разных чанках.
Вот смотри - представим что у нас есть лог который выклядит так
Вот смотри - представим что у нас есть лог который выклядит так
[aaa bbb] foo: multiline
bar baz bag
[aaa bbb] foo: multiline2
bar baz bag2
не думаю, что есть какой-то общепринятый метод, ведь ситуация может возникнуть с каким угодно форматом, что xml, что json, что вот логи
A
в транформ данные попадют чанками, т.е. туда приходит что-то аля:
bbb] foo: multiline
bar baz bag
[aaa bb
EB
а понял
ну тут наверно только аккумулятор делать и кидать лексемы туда по мере получения информации из чанков
ну тут наверно только аккумулятор делать и кидать лексемы туда по мере получения информации из чанков
EB
а когда получаешь минимальный набор для парсинга - разбирать и чистить аккумулятор
AB
всем привет) может кто знает api для ставок на спорт с коефициентами и по возможностью делать ставки на этом же апи? ссылки мне в лс пожалуйста
A
а когда получаешь минимальный набор для парсинга - разбирать и чистить аккумулятор
а как узнать что у тебя уже есть минимальный набор для парсинга не начав его парсить?)
A
у меня в планах завести буфер куда будет кидаться нераспаршеный хвост от парсинга предыдущей части который будет добавлятся в начало следующего чанка
EB
у меня в планах завести буфер куда будет кидаться нераспаршеный хвост от парсинга предыдущей части который будет добавлятся в начало следующего чанка
ну я примерно о том же, типа получаешь данные, кидаешь в доп буфер (аккумулятор), на каждый приход чанка пытаешься разобрать лексему с начала этого буфера, если получилось - эти N символов с начала буфера убрать, иначе ждать следующего куска
EB
у меня в планах завести буфер куда будет кидаться нераспаршеный хвост от парсинга предыдущей части который будет добавлятся в начало следующего чанка
да и по идее так и делают https://github.com/uhop/stream-json/blob/master/Parser.js#L81
АП
пытаться разобрать может быть дорого
лучше привязаться к формату, и если в буфере есть граница лексемы (в примере - перевод строки с последующим символом [) - можно часть буфера парсить
лучше привязаться к формату, и если в буфере есть граница лексемы (в примере - перевод строки с последующим символом [) - можно часть буфера парсить
EB
да, парсить это для слишком общей задачи, если можно привязаться к частностям - это должно сэкономить на вычислениях
A
да и по идее так и делают https://github.com/uhop/stream-json/blob/master/Parser.js#L81
божешь-ты можешь-ты кто это писал)
EB
божешь-ты можешь-ты кто это писал)
ну да, не очень референс (взял первое из нпма на запрос stream json parser) 😄 но в целом можно пошукать в нпм по стриминговым парсерам и выдернуть best practices, либо делать как изначально думал (с промежуточным буфером для аккумулирования лексем), потому что суть одна и та же будет
M
есть две таблицы "пользователи" и "группы". связь многие ко многим, ORM - Sequlize. вопрос, как сделать так, чтобы получить только тех пользователей у которых есть связь с определенныйми отделами?