Size: a a a

Архитектура ИТ-решений

2020 November 01

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Как вариант, предподготовка агрегатов в spark graphx, агрегаты в кэш/быстрый стор, а дальше в память + обычные графовые либы
А язык запросов? Я же не только про хранение, вспомни Cypher:

CALL algo.closeness.stream('Node', 'LINK')
YIELD nodeId, centrality

RETURN algo.getNodeById(nodeId).id AS node, centrality
ORDER BY centrality DESC
LIMIT 20;

https://neo4j.com/docs/graph-algorithms/3.5/labs-algorithms/closeness-centrality/
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Сейчас же вообще тенденция "пользователю не нужно ничего искать, кроме как полнотекстом", с предположением "пользователь помнит, как называются все файлы на его компьютере наизусть".
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Fagor
Я не фанат то этого. По сути нет нормальной IDE для работы с текстом (+графика и метаданные), и организации его в базу, которые как общие заметки для организации личного пространства устраивают. Зайти в веб и там из списка по поиску, тоже так себе, хотя многие в трелло так и делают.
Это да. Я в свое время JB продвигал идею сделать на базе Idea рабочую лошадку для работы со сложными документами. С разметкой, связями, автогенерацией отчетов и выжимок и так далее.
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
А язык запросов? Я же не только про хранение, вспомни Cypher:

CALL algo.closeness.stream('Node', 'LINK')
YIELD nodeId, centrality

RETURN algo.getNodeById(nodeId).id AS node, centrality
ORDER BY centrality DESC
LIMIT 20;

https://neo4j.com/docs/graph-algorithms/3.5/labs-algorithms/closeness-centrality/
Ну это, да. Кейсы нужны. Вот ты эту выборку делаешь в graphx и кладёшь в базу/кэш. Потом забираешь и работаешь либами
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Ну это, да. Кейсы нужны. Вот ты эту выборку делаешь в graphx и кладёшь в базу/кэш. Потом забираешь и работаешь либами
Смотри, вот для такого нужны графы
https://neo4j.com/docs/graph-data-science/current/algorithms/
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Это не про "выбрать из табличек" - это "выбрать таким-то типом математики"
источник

F

Fagor in Архитектура ИТ-решений
Походу JB не прислушались :(, хотя конкурента JupiterNotebook они сделали, но там работа с кодом запросов и построением графиков по ответам
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Смотри, вот для такого нужны графы
https://neo4j.com/docs/graph-data-science/current/algorithms/
Напиши, почему то что я написал, не будет работать в твоих кейсах. Grapx - это и есть графы
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Напиши, почему то что я написал, не будет работать в твоих кейсах. Grapx - это и есть графы
Да, пару минут
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Это не про "выбрать из табличек" - это "выбрать таким-то типом математики"
Да, с помощью spark graphx, без графовой базы
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Напиши, почему то что я написал, не будет работать в твоих кейсах. Grapx - это и есть графы
Вот поэтому
https://spark.apache.org/docs/latest/graphx-programming-guide.html

Там три алгоритма
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Можно работать с графами (графовой математикой) без графовой базы
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Fagor
Походу JB не прислушались :(, хотя конкурента JupiterNotebook они сделали, но там работа с кодом запросов и построением графиков по ответам
Я знаю, что не прислушались, у них даже в новом Space так и нет инструментов работы с требованиями/документами.
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Могу кейс придумать из логистики, где это ой как важно
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Аргумент. И всё же нужно смотреть. В известных мне кейсах, GraphX хватало всегда.
источник

F

Fagor in Архитектура ИТ-решений
Phil Delgyado
Я знаю, что не прислушались, у них даже в новом Space так и нет инструментов работы с требованиями/документами.
С документами я недавно находил, в открытый доступ (опен сурс) spotify backstage выложили, внутренний тулл, с плагином для работы с документами. Руки пока не дошли развернуть. Все остальные ide в моем поле зрение ни о чем, тот же сфинкс, которые многие используют, что то не он для меня от слова совсем.
источник

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Можно работать с графами (графовой математикой) без графовой базы
Можно, конечно можно
Тут вопрос не в "можно - нельзя", а в том, что если ты работаешь с событиями и вероятностями - то связность это то, что ты всегда ищешь. Миллионы выборок, проверяющие разные типы связности.

Конечно можно это написать поверх spark'а, можно в app вынести - это не проблема. Проблема всегда в том, что ты не знаешь, какие связи тебе именно нужны, и "дискаверишь" их в процессе - а это дорого на таблицах
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Fagor
С документами я недавно находил, в открытый доступ (опен сурс) spotify backstage выложили, внутренний тулл, с плагином для работы с документами. Руки пока не дошли развернуть. Все остальные ide в моем поле зрение ни о чем, тот же сфинкс, которые многие используют, что то не он для меня от слова совсем.
Сфинкс - это же просто полнотекстовый движок. Или что-то еще есть?
источник
2020 November 02

F

Fagor in Архитектура ИТ-решений
Phil Delgyado
Сфинкс - это же просто полнотекстовый движок. Или что-то еще есть?
Да он самый. Просто когда ищешь, не разобравшись его советуют, через пару месяцев повторяешь поиск, забывается, так как увидев его сразу понятно что не он нужен, опять смотришь, и все повторяется.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Fagor
Да он самый. Просто когда ищешь, не разобравшись его советуют, через пару месяцев повторяешь поиск, забывается, так как увидев его сразу понятно что не он нужен, опять смотришь, и все повторяется.
Ну, тогда уж лучше эластик. Для себя я конфлюенс ставлю, но он с каждым годом все хуже и хуже, а старые версии уже не работают (
источник