В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Архитектура ИТ-решений

2750 membersпожаловаться на группу
2020 November 02

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Твой выход )
Что раскатаем? Greenplum? Hive?  Если у тебя есть пара миллионов рублей - что раскатаем?
Для чего?))
Для решения аналитических задач, и то и другое) Они для решения разных аналитических задач
источник
01:23пожаловаться#1

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Понятно, что за 70 млн можно пойти вот сюда
Схема не читается ваще)
источник
01:24пожаловаться#2

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Для чего?))
Для решения аналитических задач, и то и другое) Они для решения разных аналитических задач
На первой волне MVP ты не всегда понимаешь, сколько каких данных будет.
Сколько метаданных нужно будет - и дело не в количестве, а в пропорциях "горячие - холодные".

Молодёжь начинает с понятных табличных PG + какой-нибудь redis рядом
Чуть постарше идут в GP/шардирование
источник
01:26пожаловаться#3

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Для чего?))
Для решения аналитических задач, и то и другое) Они для решения разных аналитических задач
Для того, чтобы проверить десять-пятнадцать гипотез по пути к MVP, не сильно мутируя при этом со слоем хранения
источник
01:27пожаловаться#4

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
На первой волне MVP ты не всегда понимаешь, сколько каких данных будет.
Сколько метаданных нужно будет - и дело не в количестве, а в пропорциях "горячие - холодные".

Молодёжь начинает с понятных табличных PG + какой-нибудь redis рядом
Чуть постарше идут в GP/шардирование
Ты понимаешь, что одним покемоном не решать задачу?

Горячие, допустим в PG. Холодные - в Хадупе.
источник
01:27пожаловаться#5

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Ты понимаешь, что одним покемоном не решать задачу?

Горячие, допустим в PG. Холодные - в Хадупе.
Хадуп этот?
https://cloud.yandex.ru/services/data-proc
cloud.yandex.ru
Yandex Data Proc
Сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом, таких как Apache Spark™, Apache Hadoop®, Apache HBase, Apache Hive, Apache Zeppelin и других сервисов экосистемы Apache®.
источник
01:27пожаловаться#6

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Для того, чтобы проверить десять-пятнадцать гипотез по пути к MVP, не сильно мутируя при этом со слоем хранения
Polyglot Persistent
источник
01:28пожаловаться#7

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Хадуп этот?
https://cloud.yandex.ru/services/data-proc
cloud.yandex.ru
Yandex Data Proc
Сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом, таких как Apache Spark™, Apache Hadoop®, Apache HBase, Apache Hive, Apache Zeppelin и других сервисов экосистемы Apache®.
Допустим. Я имел ввиду экосистему Hadoop
источник
01:28пожаловаться#8

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Допустим. Я имел ввиду экосистему Hadoop
Да это понятно :)
Но на 3 млн не стоит идти в капекс, и покупать датаноды + настройку + ...
источник
01:29пожаловаться#9

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Эластик причём тоже, то есть и Хадуп и Эластик. Эластик - для полнотекста, если полнотекст нужен
источник
01:29пожаловаться#10

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Да это понятно :)
Но на 3 млн не стоит идти в капекс, и покупать датаноды + настройку + ...
Тогда всё на PG
Ну или PG + Elastic
источник
01:29пожаловаться#11

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Тогда всё на PG
Ну или PG + Elastic
Нееее )
Это не вариант ) Потому что к PG ты не подцепишь ни аналитику, ни графы. Да, там есть GEO-движок хороший, но он не нужен тут
источник
01:30пожаловаться#12

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Тогда всё на PG
Ну или PG + Elastic
PG избыточна тут, имхо
Зачем тебе железные таблицы, если есть облачный хадуп?
источник
01:31пожаловаться#13

EI

Eugene Istomin in Архитектура ИТ-решений
Если мы говорим про консистентность данных (pk, fk связки) - то кроме локальных pg есть другие варианты
источник
01:32пожаловаться#14

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Нееее )
Это не вариант ) Потому что к PG ты не подцепишь ни аналитику, ни графы. Да, там есть GEO-движок хороший, но он не нужен тут
Почему не подцепишь? Ещё как подцепишь. Jupiter + Python + pandas + scikit-learn + seaborn + ...

Ты же MVP делаешь

PG и Elastic, Elastic для полнотекста, в PG его нет, а полнотекст почти всегда нужен
источник
01:32пожаловаться#15

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Почему не подцепишь? Ещё как подцепишь. Jupiter + Python + pandas + scikit-learn + seaborn + ...

Ты же MVP делаешь

PG и Elastic, Elastic для полнотекста, в PG его нет, а полнотекст почти всегда нужен
Оп, и тут у тебя app-часть начинает сотни часов есть.

» Elastic для полнотекста
На 2020 спорно, ES сейчас это не просто sphinx-like
источник
01:34пожаловаться#16

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Вся аналитика сейчас на Python. GP - это если тебе нужен какой-нибудь бизнес дата вольт и BI-ные тулы сверху
источник
01:34пожаловаться#17

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Оп, и тут у тебя app-часть начинает сотни часов есть.

» Elastic для полнотекста
На 2020 спорно, ES сейчас это не просто sphinx-like
Конечно, он мощный да. Ну хорошо, ещё для телеметрии, всей, логи, трассировки, метрики
источник
01:34пожаловаться#18

EI

Eugene Istomin in Архитектура ИТ-решений
Gennadiy Kruglov
Конечно, он мощный да. Ну хорошо, ещё для телеметрии, всей, логи, трассировки, метрики
Ну вот ещё дальше :)
Кроме телеметрии ) Готов ли ты про бизнес-данные говорить?
источник
01:35пожаловаться#19

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Eugene Istomin
Ну вот ещё дальше :)
Кроме телеметрии ) Готов ли ты про бизнес-данные говорить?
Нет конечно)
Кроме телеметрии и полнотекста, заметь) При этом, полнотекст - это ешё одна read model
источник
01:35пожаловаться#20