В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Чат подкаста «Разбор Полётов»

918 membersпожаловаться на группу
2019 December 18

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
ну, в случае PG, кажется, самый правильный способ делать очереди - это вроде https://wiki.postgresql.org/wiki/PGQ_Tutorial

У ребят в деньгах в очередях были проблемы, они даже на гитхабе про них писали
источник
00:17пожаловаться#1

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
https://github.com/yandex-money-tech/db-queue#known-issues
GitHub
yandex-money-tech/db-queue
Worker-queue implementation on top of Java and database - yandex-money-tech/db-queue
источник
00:17пожаловаться#2

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
Не, PGQ - это очень сомнительное решение. Оно нацелено на обработку очереди большими пачками внутри СУБД,
И с очень большой долей магии внутри.
источник
00:17пожаловаться#3

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
Phil Delgyado
Не, PGQ - это очень сомнительное решение. Оно нацелено на обработку очереди большими пачками внутри СУБД,
И с очень большой долей магии внутри.
парни из https://postgrespro.ru/ PGQ почему-то рекомендуют (по крайне мере, на докладах)
postgrespro.ru
Компания Postgres Professional
Postgres Professional - российский вендор PostgreSQL, предлагает  бизнесу и государственным структурам реальную альтернативу коммерческим СУБД. Компания оказывает полный надор услуг, связанных с СУБД PostgreSQL: IT-аудит, консалтинг, разработка, администрирование, поддержка, обучение.
источник
00:18пожаловаться#4

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
Я в курсе, что они рекомендуют. Но эта штука реально под работу пачками. Вот репликацию данных между базами на ней делать логично (для того и придумывали). А 20 воркеров, берущих задачи по одной внутри транзакции из кучи очередей - нет, не для этого.
источник
00:20пожаловаться#5

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
У меня на Joker был доклад, где я разные варианты рассматривал и рассказывал, что и для чего.
источник
00:20пожаловаться#6

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
Решение от ЯД нормальное для обычных топиков, когда самих топиков не очень много, а событий в них довольно много.
Я рассказывал про решение для акторов - когда очередей очень много (много больше воркеров), но они почти всегда пустые или с одной-двумя событиями.
А реально нужно смотреть на свои кейсы и думать, что реально нужно и какие НФТ.
источник
00:22пожаловаться#7

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
Phil Delgyado
Там порядковый номер для очередного события вычисляется через select max() ....
хм, у ребят порядковый номер сообщения - это не sequence, а:
  _stream_version := stream_version(write_message.stream_name);

  IF _stream_version IS NULL THEN
    _stream_version := -1;
  END IF;

_next_position := _stream_version + 1;


поэтому и select max()
источник
00:29пожаловаться#8

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
А теперь вопрос - как это работает под нагрузкой? Ну, если у меня пяток сервисов активно обменивается сообщениями?
источник
00:30пожаловаться#9

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
При том, что в версионниках select(max) - реально дорогая операция (
источник
00:31пожаловаться#10

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
Сложно тут сказать, на сколько много событий в секунду в БД можно писать.

Получается, на вставку сообщения у нас:
1) взять лок - pg_advisory_xact_lock
2) взять select(max)
источник
00:32пожаловаться#11

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
Ага. А если я хочу прочитать событие, в этой же транзакции создать другое и потом уже удалить взятое? Ну, нормальная такая транзакционная логика работы с очередью... Шансы получить dead lock - 100% )
источник
00:33пожаловаться#12

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
При том, что в  PG специально для очередей есть select for update skip locked
Кстати, PGQ делали до версии 9.5, поэтому использовали внутреннюю магию и извращения.
источник
00:34пожаловаться#13

DP

Denis Pavlyuchenko in Чат подкаста «Разбор Полётов»
Phil Delgyado
Ага. А если я хочу прочитать событие, в этой же транзакции создать другое и потом уже удалить взятое? Ну, нормальная такая транзакционная логика работы с очередью... Шансы получить dead lock - 100% )
кажется, тут ребята решили проблему на корню - у них попросту нет удаления, либо я его не вижу сейчас
источник
00:37пожаловаться#14

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
Ну, да, надо хранить  номер обработанного события.   EventSoucing, блин )
источник
00:38пожаловаться#15

PD

Phil Delgyado in Чат подкаста «Разбор Полётов»
(Почему не взять нормальный sequence, который все равно будет монотонный - не понятно)
источник
00:38пожаловаться#16

OC

Oleg Chirukhin ☄️ 🧙🏻‍♂️🚀 in Чат подкаста «Разбор Полётов»
Tagir
Народ, а есть в телеграмме нормальный чат про джаву? Не нубский, чтобы новости обсуждали и т. д.
так ты приноси новости, будем обсуждать!
источник
00:40пожаловаться#17

AS

Aleksandr Semyannikov in Чат подкаста «Разбор Полётов»
Oleg Chirukhin ☄️ 🧙🏻‍♂️🚀
так ты приноси новости, будем обсуждать!
Нет его, был Тагир, да вышел весь :(
источник
01:05пожаловаться#18

OC

Oleg Chirukhin ☄️ 🧙🏻‍♂️🚀 in Чат подкаста «Разбор Полётов»
Aleksandr Semyannikov
Нет его, был Тагир, да вышел весь :(
Нужно быть добрее к людям
источник
01:15пожаловаться#19

J🎩

JBaruch 🎩 in Чат подкаста «Разбор Полётов»
источник
03:48пожаловаться#20