OB
А что можно делать во время потоковой обработки? Ну вот реально. Подразумевается же, что подобные манипуляции проще\быстрее в БД произвести и отдать уже готовое.
проще быстрее с json работает база? вообще не факт
Size: a a a
2021 January 14
DB
проще быстрее с json работает база? вообще не факт
В базе как минимум инструменты есть для этого и она под это точилась годами. Тут получается нужно будет все свое писать
OB
В базе как минимум инструменты есть для этого и она под это точилась годами. Тут получается нужно будет все свое писать
базы обычно не с json работают
DB
Просто я смотрю на либу и не могу понять чем она могла быть мне полезна и в каком именно случае. Просто складывается ощущение, что куда бы я ее не попытался прилепить она будет строго сбоку. Поэтому и про реальный кейс спросил.
Абстрактный вида: очень много больших JSON ничего не проясняет
Абстрактный вида: очень много больших JSON ничего не проясняет
DB
Вот кстати еще кейс с которым столкнулся на днях пока с XML работал:
Есть много кусков текста вида:
Постановление отменено, Отказано, Не верно поданы документы, Не верный номер и тд
Кусков много и к словарю их свести нельзя. Матчить по паттерну "отмен" и "не[подх | верно | корр]" мне кажется не лучшим вариантом.
Мне нужно по кускам понять, что идет какое-то отрицание и выставить флаг False.
Есть много кусков текста вида:
Постановление отменено, Отказано, Не верно поданы документы, Не верный номер и тд
Кусков много и к словарю их свести нельзя. Матчить по паттерну "отмен" и "не[подх | верно | корр]" мне кажется не лучшим вариантом.
Мне нужно по кускам понять, что идет какое-то отрицание и выставить флаг False.
DH
Просто я смотрю на либу и не могу понять чем она могла быть мне полезна и в каком именно случае. Просто складывается ощущение, что куда бы я ее не попытался прилепить она будет строго сбоку. Поэтому и про реальный кейс спросил.
Абстрактный вида: очень много больших JSON ничего не проясняет
Абстрактный вида: очень много больших JSON ничего не проясняет
Либы берут под задачи, а не задачи подгоняют под либы, c'mon
DB
Либы берут под задачи, а не задачи подгоняют под либы, c'mon
Да это понятно. Но мне масштабов мышления не хватает чтобы понять на сколько красиво я систему проектирую. Поэтому вопросы и задаю такие.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
DB
Отсюда вывод — что это недостаток системы. А как его решить толком не ясно.
DH
Да это понятно. Но мне масштабов мышления не хватает чтобы понять на сколько красиво я систему проектирую. Поэтому вопросы и задаю такие.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
Вот банально загнал я данные в PostgresSQL. А как поверх него ML навешивать вообще загадка учитывая объемы БД.
Тогда тебе надо обсуждать архитектуру с теми челами, которые шарят в такого рода задачах (бигдата, скорее всего)
SG
Отсюда вывод — что это недостаток системы. А как его решить толком не ясно.
Тут сложный вопрос - надо понимать какие модели нужны и как они будут строиться
DB
Бывает нужно вообще в потоке постоянно дообучать, бывает, что база просто как хранилище - для обучения всё оттуда достал, обучил в спарке где-нибудь
Мне еще хранилище нужно получается какое-то кроме БД для моделей?
SG
Мне еще хранилище нужно получается какое-то кроме БД для моделей?
Это лучше с архитекторами БД уточнять. Я только с другой стороны работал - кто данные берет уже)
Обычно как я понимаю, базы делают разные - в одни кладут много данных, но запрос оттуда долго работает, и делают более быстрые с ограниченным набором, наиболее востребованных. Вообще в этой части у какого-нибудь нетфликса много статей - они прям свою архитектуру показывали где-то
Обычно как я понимаю, базы делают разные - в одни кладут много данных, но запрос оттуда долго работает, и делают более быстрые с ограниченным набором, наиболее востребованных. Вообще в этой части у какого-нибудь нетфликса много статей - они прям свою архитектуру показывали где-то
DB
ок, пасибо за ссылки