Size: a a a

2021 January 14

OB

Oleg B in dlang.ru
Dmitry Bubnenkov
А что можно делать во время потоковой обработки? Ну вот реально. Подразумевается же, что подобные манипуляции проще\быстрее в БД произвести и отдать уже готовое.
проще быстрее с json работает база? вообще не факт
источник

OB

Oleg B in dlang.ru
особенно если это Илья написал, думаю он писал так, что это будет быстрее чем в любой бд
источник

DB

Dmitry Bubnenkov in dlang.ru
Oleg B
проще быстрее с json работает база? вообще не факт
В базе как минимум инструменты есть для этого и она под это точилась годами. Тут получается нужно будет все свое писать
источник

OB

Oleg B in dlang.ru
Dmitry Bubnenkov
В базе как минимум инструменты есть для этого и она под это точилась годами. Тут получается нужно будет все свое писать
базы обычно не с json работают
источник

DB

Dmitry Bubnenkov in dlang.ru
Просто я смотрю на либу и не могу понять чем она могла быть мне полезна и в каком именно случае. Просто складывается ощущение, что куда бы я ее не попытался прилепить она будет строго сбоку. Поэтому и про реальный кейс спросил.
Абстрактный вида: очень много больших JSON ничего не проясняет
источник

DB

Dmitry Bubnenkov in dlang.ru
Вот кстати еще кейс с которым столкнулся на днях пока с XML работал:
Есть много кусков текста вида:
Постановление отменено, Отказано, Не верно поданы документы, Не верный номер и тд

Кусков много и к словарю их свести нельзя. Матчить по паттерну "отмен" и "не[подх | верно | корр]" мне кажется не лучшим вариантом.

Мне нужно по кускам понять, что идет какое-то отрицание и выставить флаг False.
источник

DH

Dark Hole in dlang.ru
Dmitry Bubnenkov
Просто я смотрю на либу и не могу понять чем она могла быть мне полезна и в каком именно случае. Просто складывается ощущение, что куда бы я ее не попытался прилепить она будет строго сбоку. Поэтому и про реальный кейс спросил.
Абстрактный вида: очень много больших JSON ничего не проясняет
Либы берут под задачи, а не задачи подгоняют под либы, c'mon
источник

DB

Dmitry Bubnenkov in dlang.ru
Dark Hole
Либы берут под задачи, а не задачи подгоняют под либы, c'mon
Да это понятно. Но мне масштабов мышления не хватает чтобы понять на сколько красиво я систему проектирую. Поэтому вопросы и задаю такие.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
источник

DB

Dmitry Bubnenkov in dlang.ru
Отсюда вывод — что это недостаток системы. А как его решить толком не ясно.
источник

DH

Dark Hole in dlang.ru
Dmitry Bubnenkov
Да это понятно. Но мне масштабов мышления не хватает чтобы понять на сколько красиво я систему проектирую. Поэтому вопросы и задаю такие.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
Тогда тебе надо обсуждать архитектуру с теми челами, которые шарят в такого рода задачах (бигдата, скорее всего)
источник

SG

Serg Gini in dlang.ru
Dmitry Bubnenkov
Отсюда вывод — что это недостаток системы. А как его решить толком не ясно.
Тут сложный вопрос - надо понимать какие модели нужны и как они будут строиться
источник

SG

Serg Gini in dlang.ru
Бывает нужно вообще в потоке постоянно дообучать, бывает, что база просто как хранилище - для обучения всё оттуда достал, обучил в спарке где-нибудь
источник

SG

Serg Gini in dlang.ru
Dark Hole
Тогда тебе надо обсуждать архитектуру с теми челами, которые шарят в такого рода задачах (бигдата, скорее всего)
++
источник

DB

Dmitry Bubnenkov in dlang.ru
Serg Gini
Бывает нужно вообще в потоке постоянно дообучать, бывает, что база просто как хранилище - для обучения всё оттуда достал, обучил в спарке где-нибудь
Мне еще хранилище нужно получается какое-то кроме БД для моделей?
источник

SG

Serg Gini in dlang.ru
Dmitry Bubnenkov
Мне еще хранилище нужно получается какое-то кроме БД для моделей?
Это лучше с архитекторами БД уточнять. Я только с другой стороны работал - кто данные берет уже)
Обычно как я понимаю, базы делают разные - в одни кладут много данных, но запрос оттуда долго работает, и делают более быстрые с ограниченным набором, наиболее востребованных. Вообще в этой части у какого-нибудь нетфликса много статей - они прям свою архитектуру показывали где-то
источник

SG

Serg Gini in dlang.ru
источник

SG

Serg Gini in dlang.ru
Правда старый видос, но они постоянно что-то в блоге у себя пишут на эти темы
источник

DB

Dmitry Bubnenkov in dlang.ru
ок, пасибо за ссылки
источник