В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Чат конференции HighLoad++

2528 membersпожаловаться на группу
2020 December 04

V

VanTop in Чат конференции HighLoad++
Кто может посоветовать? Для нового проекта нужна БД в которой будет много записей больше 1миллиарда
в таблице 10-20 полей и в каждом поле текстовые данные и несколько числовых.

И нужно с этой базы делать выборку быстро с условиями колонка 4=5 колонка 8=true  колонка 12>783 в колонке 17 есть текст abv

Во что такое можно завернуть для быстрого поиска?
источник
16:05пожаловаться#1

VO

Vyacheslav Olkhovche... in Чат конференции HighLoad++
много RAM
источник
16:06пожаловаться#2

А

Андрей Х. Modesco... in Чат конференции HighLoad++
VanTop
Кто может посоветовать? Для нового проекта нужна БД в которой будет много записей больше 1миллиарда
в таблице 10-20 полей и в каждом поле текстовые данные и несколько числовых.

И нужно с этой базы делать выборку быстро с условиями колонка 4=5 колонка 8=true  колонка 12>783 в колонке 17 есть текст abv

Во что такое можно завернуть для быстрого поиска?
Нужно понимать характер данных (как собираетесь их писать, будете ли обновлять, как часто будете писать/обновлять, насколько эти данные сложно стандартизировать, как страшно данные потерять), а так же как планируете использовать: точные запросы по нескольким записям, аналитические запросы и т.п.

Для статистики есть ClickHouse. Для поиска по произвольным текстам есть Elasticsearch. Решений много.
источник
16:11пожаловаться#3

PD

Phil Delgyado in Чат конференции HighLoad++
VanTop
Кто может посоветовать? Для нового проекта нужна БД в которой будет много записей больше 1миллиарда
в таблице 10-20 полей и в каждом поле текстовые данные и несколько числовых.

И нужно с этой базы делать выборку быстро с условиями колонка 4=5 колонка 8=true  колонка 12>783 в колонке 17 есть текст abv

Во что такое можно завернуть для быстрого поиска?
А что такое "быстро"? Сколько ms на запрос, сколько запросов в секунду?
источник
16:12пожаловаться#4

PD

Phil Delgyado in Чат конференции HighLoad++
Ну и для просто поиска есть PG )
источник
16:13пожаловаться#5

PD

Phil Delgyado in Чат конференции HighLoad++
(Кстати, если нужен не полнотекст, а просто на включение, то ES не очень нужен)
источник
16:13пожаловаться#6

NK

ID:0 in Чат конференции HighLoad++
🔥7 декабря с 16:00 до 21:00 МСК пройдёт митап Онтико и Слёрма

«Stateful-приложения в 2020 году»

Слёрм — учебный центр, обучающий инженеров из России и СНГ лучшим практикам DevOps, SRE и некоторым технологиям (Kubernetes, Docker, Ceph, Kafka и другие).

На митапе поговорим о том, что происходит с базами данных, что с ними делать в 2020 году, какие перспективы и тренды нас ждут.

Ведущий митапа — Антон Черноусов. Developer Advocate в Yandex.Cloud, автор подкаста  «The Art Of Programming».

Спикеры:
🔹Марсель Ибраев. CTO Слёрм
🔹Андрей Квапил. Cloud Architect и DevOps Engineer в WEDOS Internet a.s.

Встречаемся 7 декабря, в 16:00 МСК

Полная информация о митапе и регистрация по ссылке.
www.highload.ru
Stateful-приложения в 2020 году
Митап для тех, кому интересно узнать о перспективах и трендах stateful
источник
16:41пожаловаться#7

NK

ID:0 in Чат конференции HighLoad++
😱Опять боль и страдания!!!

Внедряя NoOps в большой компании, Сергей Бердников (ЦФТ), руководитель отдела эксплуатации платежной системы «Золотая корона — Денежные переводы», услышал много разного.

🔥По классике жанра, Сергей собрал все возможные "грабли", где-то пришлось пойти на компромиссы, ибо любая концепция требует обработки напильником под себя, чтобы максимально решать свои задачи. И на HighLoad++ расскажет про свой опыт погони за хайпом.

✅Программа и билеты здесь.
www.highload.ru
Сергей Бердников на HighLoad++ 2020
Опять боль и страдания!!! Внедряя NoOps в большой компании, я услышал много разного — от простых эмоций:  - Да вы теперь просто операторы приватного облака!..  - У нас кончилось админство в компании!!!  - А что я теперь и в мидлваре должен разбираться?..до вполне интересных вопросов:  - Оптимизацией СУБД кто теперь занимается?  - Кто отвечает за бэкап?  - А кто теперь отвечает за инциденты?Есть, безусловно, полезные вещи, которые очень трудно оспорить, например, автоматизация запросов на обслуживание (любые действия, имеющие обкатанный скрипт исполнения), где вы интегрируете свою инфраструктуру с роботами и нет больше лагов и ошибок при исполнении. Все "энтерпрайз-вахтёры" (политики и регламенты безопасности) тоже эффективно автоматизируются, и самое прикольное тут, что никто вам даже спасибо не скажет, все привыкнут к хорошему через неделю, даже не вспомнят, что может быть по-другому. Самое тонкое место — это передача компетенций, как быть Томом Сойером, а не "вертухаем", заставляющим делать «чужую» работу.…
источник
19:02пожаловаться#8

АА

Андрей Андреевич... in Чат конференции HighLoad++
VanTop
Кто может посоветовать? Для нового проекта нужна БД в которой будет много записей больше 1миллиарда
в таблице 10-20 полей и в каждом поле текстовые данные и несколько числовых.

И нужно с этой базы делать выборку быстро с условиями колонка 4=5 колонка 8=true  колонка 12>783 в колонке 17 есть текст abv

Во что такое можно завернуть для быстрого поиска?
Задача вроде не сложная, но чутка ресурсоемкая. Достаточно и PG настроенного, с секционированием и правильно построенными индексами, как минимум.
На хорошем железе будет работать ок. Если есть статичные запросы к данным, то их лучше кешировать с помощью Redis или memcached например.
источник
22:15пожаловаться#9

p

pragus in Чат конференции HighLoad++
Vyacheslav Olkhovchenkov
много RAM
желательно, но не обязательно
источник
22:49пожаловаться#10

VO

Vyacheslav Olkhovche... in Чат конференции HighLoad++
pragus
желательно, но не обязательно
зато самое простое и точно работающее
источник
22:50пожаловаться#11

p

pragus in Чат конференции HighLoad++
Vyacheslav Olkhovchenkov
зато самое простое и точно работающее
В целом, да. Но можно начать с вынесения индексов на что-то быстрое.
источник
22:51пожаловаться#12

VO

Vyacheslav Olkhovche... in Чат конференции HighLoad++
pragus
В целом, да. Но можно начать с вынесения индексов на что-то быстрое.
проще поставить 128-256ГБ памяти
источник
23:01пожаловаться#13

p

pragus in Чат конференции HighLoad++
Vyacheslav Olkhovchenkov
проще поставить 128-256ГБ памяти
это, скорее всего, мало, для таких объемов.
источник
23:05пожаловаться#14

V

VanTop in Чат конференции HighLoad++
Андрей Андреевич
Задача вроде не сложная, но чутка ресурсоемкая. Достаточно и PG настроенного, с секционированием и правильно построенными индексами, как минимум.
На хорошем железе будет работать ок. Если есть статичные запросы к данным, то их лучше кешировать с помощью Redis или memcached например.
данные читать нужно не постоянно а несколько раз в день но большая выборка.

и хочется обойтись большим объемом HDD чем оперативы. но redis можно подтянуть но думаю при таких объемах он много сожрёт.
источник
23:08пожаловаться#15

VO

Vyacheslav Olkhovche... in Чат конференции HighLoad++
pragus
это, скорее всего, мало, для таких объемов.
достань из ящика калькулятор и посчитай
источник
23:08пожаловаться#16

АА

Андрей Андреевич... in Чат конференции HighLoad++
VanTop
данные читать нужно не постоянно а несколько раз в день но большая выборка.

и хочется обойтись большим объемом HDD чем оперативы. но redis можно подтянуть но думаю при таких объемах он много сожрёт.
Сожрет конечно, ему же надо как-то работать, но зато будет работать молниеносно.
Также, чтобы оптимизировать объем занимаемых данных, их можно кодировать, например.
+ даже если большая выборка базе очень сильно поможет секционирование и индексы, я уже писал.
источник
23:16пожаловаться#17
2020 December 05

p

ppavel in Чат конференции HighLoad++
pragus
В целом, да. Но можно начать с вынесения индексов на что-то быстрое.
быстрее чем память?
(в которую влезают индексы  sql)
источник
00:01пожаловаться#18

N

Nikolay in Чат конференции HighLoad++
VanTop
Кто может посоветовать? Для нового проекта нужна БД в которой будет много записей больше 1миллиарда
в таблице 10-20 полей и в каждом поле текстовые данные и несколько числовых.

И нужно с этой базы делать выборку быстро с условиями колонка 4=5 колонка 8=true  колонка 12>783 в колонке 17 есть текст abv

Во что такое можно завернуть для быстрого поиска?
вы начните просто с того, что поставьте базу, сделайте партиционирование, создайте индексы. Запустите ваши запросы и посмотрите устроит ли вас время ответа. У вас 1 миллиадр, если будет 100 партиций, то это по 10млн на партицию. Если время не устраивает, то посмотрите, что можно улучшить.
источник
00:12пожаловаться#19

V

VanTop in Чат конференции HighLoad++
Nikolay
вы начните просто с того, что поставьте базу, сделайте партиционирование, создайте индексы. Запустите ваши запросы и посмотрите устроит ли вас время ответа. У вас 1 миллиадр, если будет 100 партиций, то это по 10млн на партицию. Если время не устраивает, то посмотрите, что можно улучшить.
так вот я и стою перед вопросом какую базу поставить.
источник
00:14пожаловаться#20