В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pgsql – PostgreSQL

5628 membersпожаловаться на группу
2021 January 21

SG

Sergey Gr in pgsql – PostgreSQL
Станислав Линник
Беда в том что pg не справляется. в pg_all_stat_activity куууууча UPDATE ивентов, с блокировками(как LWLOCK так и Lock). Короче чето не вывозит PG нагрузку в 5к QPS. Вот я думаю, если избавиться от транзакций, то сильно легче будет и не будет ли каких касяков с апдейтов поля( хотя по идее он должен лочить строку, на момент выполнения инсерта)
Похоже на pgbench. 5k tps на ядро - нормально. А как вы собираетесь избавиться от транзакций?
источник
08:17пожаловаться#1

am

a m in pgsql – PostgreSQL
Станислав Линник
Всем привет, такой вопрос: имеется запрос, который выполняется через транзакцию
UPDATE accounts SET balance = balance + 100.00 WHERE acctnum = 11111;
Причем много запросов, как в тот же самый acctnum = 11111, так и по другим acctnum
Если смотреть по блокировкам то вижу такое
 state  |  pid   |     wait_event      | wait_event_type
-------+--------+---------------------+-----------------+
active |  59051 | transactionid       | Lock            

Если избавиться от транзацкий, то какие проблемы я могу словить?

З.Ы. конечно могут быть взаимоблокировки, тут я хз, если подскажите как их отловить то еще лучше
Если вы пишете биллинг, и у вас будет хоть какая-то параллельная работа, а не три клиента в сутки, то настоятельно рекомендую изучить:
1) как работает MVCC в постгресе;
2) как работают блокировки.
Не глядя на конкретный код нельзя сказать. какие проблемы будут. Можно только сказать «погода на марсе вместо балансов», что клиенты не очень любят (я проверял на них).
источник
08:20пожаловаться#2

GH

Gl Hf in pgsql – PostgreSQL
Добрый день! Кто может посоветовать бесплатные курсы или литературу, где будет подробно и не очень сухо рассказан курс по sql (включая вложенные запросы, оконные функции, работа с временными функциями, olap кубами), кроме sql-ex?
источник
08:22пожаловаться#3

am

a m in pgsql – PostgreSQL
Станислав Линник
Беда в том что pg не справляется. в pg_all_stat_activity куууууча UPDATE ивентов, с блокировками(как LWLOCK так и Lock). Короче чето не вывозит PG нагрузку в 5к QPS. Вот я думаю, если избавиться от транзакций, то сильно легче будет и не будет ли каких касяков с апдейтов поля( хотя по идее он должен лочить строку, на момент выполнения инсерта)
INSERT ничего не лочит. Хотя я вообще плохо понимаю, что вы там имеете в виду.
источник
08:22пожаловаться#4

СЛ

Станислав Линник... in pgsql – PostgreSQL
Sergey Gr
Похоже на pgbench. 5k tps на ядро - нормально. А как вы собираетесь избавиться от транзакций?
Похоже я не понимаю как запросы работают :)
Если я напрямую коннекчусь к базе и делаю UPDATE\INSERT\DELETE, то я не могу откатиться, но если я явно делаю транзакцию, то да откатиться я могу.
Или я неправильно понимаю wait_event transactionid ?

З.Ы. я не разраб
источник
08:25пожаловаться#5

SG

Sergey Gr in pgsql – PostgreSQL
a m
INSERT ничего не лочит. Хотя я вообще плохо понимаю, что вы там имеете в виду.
:)
источник
08:25пожаловаться#6

GH

Gl Hf in pgsql – PostgreSQL
Gl Hf
Добрый день! Кто может посоветовать бесплатные курсы или литературу, где будет подробно и не очень сухо рассказан курс по sql (включая вложенные запросы, оконные функции, работа с временными функциями, olap кубами), кроме sql-ex?
и желательно вводный по нескольким субд (mysql, postgresql)
источник
08:25пожаловаться#7

am

a m in pgsql – PostgreSQL
Sergey Gr
:)
Что «:)»?
источник
08:26пожаловаться#8

SG

Sergey Gr in pgsql – PostgreSQL
Станислав Линник
Похоже я не понимаю как запросы работают :)
Если я напрямую коннекчусь к базе и делаю UPDATE\INSERT\DELETE, то я не могу откатиться, но если я явно делаю транзакцию, то да откатиться я могу.
Или я неправильно понимаю wait_event transactionid ?

З.Ы. я не разраб
Здесь у вас автокоммит включен. И когда вы явно делаете транзакцию вы сами управляете коммитом.
источник
08:26пожаловаться#9

SG

Sergey Gr in pgsql – PostgreSQL
a m
Что «:)»?
Как минимум ShareLock на таблицу в которую вставляете (чтоб никто из под insert'а её не дропнул) Что-то из локов на блок в памяти в который идёт вставка. И это если не надо выделять новые блоки.
источник
08:28пожаловаться#10

am

a m in pgsql – PostgreSQL
Станислав Линник
Похоже я не понимаю как запросы работают :)
Если я напрямую коннекчусь к базе и делаю UPDATE\INSERT\DELETE, то я не могу откатиться, но если я явно делаю транзакцию, то да откатиться я могу.
Или я неправильно понимаю wait_event transactionid ?

З.Ы. я не разраб
> З.Ы. я не разраб
Если вы системный администратор и решили ускорить биллинг, то не надо, пожалуйста.
источник
08:29пожаловаться#11

am

a m in pgsql – PostgreSQL
Sergey Gr
Как минимум ShareLock на таблицу в которую вставляете (чтоб никто из под insert'а её не дропнул) Что-то из локов на блок в памяти в который идёт вставка. И это если не надо выделять новые блоки.
AcessShareLock — это не блокировка, а черт знает что.
Давайте еще непропылесосенный удаленный мусор за блокировки считать. По одной на строку.
источник
08:29пожаловаться#12

꧁S

꧁Александр Smirnov꧂... in pgsql – PostgreSQL
https://pgconf.ru/2021
pgconf.ru
PGConf.Online 2021
В программе PCConf.Online 2021 вас ждут доклады в два тематических потока от ведущих экспертов.

Опыт миграции на PostgreSQL
Архитектура высокопроизводительных систем на PostgreSQL
Отказоустойчивые кластеры на PostgreSQL
Интеграция PostgreSQL и 1С
Новые разработки для PostgreSQL.
источник
08:41пожаловаться#13

СЛ

Станислав Линник... in pgsql – PostgreSQL
a m
Если вы пишете биллинг, и у вас будет хоть какая-то параллельная работа, а не три клиента в сутки, то настоятельно рекомендую изучить:
1) как работает MVCC в постгресе;
2) как работают блокировки.
Не глядя на конкретный код нельзя сказать. какие проблемы будут. Можно только сказать «погода на марсе вместо балансов», что клиенты не очень любят (я проверял на них).
У нас не биллинг, скинул пример из руководства по pg, cпасибо
я тут пообщался с разрабом, логика такая:
Воркеры асинхронные
Делается селект, если такого acc_id нет, то делается INSERT,  но если acc_id есть то делает UPDATE поля.
В тоже время другой воркер делает то же самое.
Отсюда и блокировки
источник
08:41пожаловаться#14

DV

Dmitry Vasiliev in pgsql – PostgreSQL
а не подскажете как patroni
можно заставить проверять не то что pg запущен, а дополнительные кастомные проверки - например диск доступен на запись/чтение?
источник
08:41пожаловаться#15

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Gl Hf
и желательно вводный по нескольким субд (mysql, postgresql)
По постгресу - официальная документация. Лучше нет и неизвестно.
источник
08:42пожаловаться#16

am

a m in pgsql – PostgreSQL
Станислав Линник
У нас не биллинг, скинул пример из руководства по pg, cпасибо
я тут пообщался с разрабом, логика такая:
Воркеры асинхронные
Делается селект, если такого acc_id нет, то делается INSERT,  но если acc_id есть то делает UPDATE поля.
В тоже время другой воркер делает то же самое.
Отсюда и блокировки
Да, один UPDATE по данной строке заставить другой ждать. Без явной транзакции — тоже.
источник
08:51пожаловаться#17

K

Kamoliddin in pgsql – PostgreSQL
Добрый день. Дана такая таблица и мне нужно сгруппировать элементы где каждая группа начинается с FORMED и все элементы до следующего FORMED. На данной картинке 2 такие группы. Как можно такое реализовать ?
источник
09:07пожаловаться#18

IZ

Ilia Zviagin in pgsql – PostgreSQL
Kamoliddin
Добрый день. Дана такая таблица и мне нужно сгруппировать элементы где каждая группа начинается с FORMED и все элементы до следующего FORMED. На данной картинке 2 такие группы. Как можно такое реализовать ?
Order by?
источник
09:29пожаловаться#19

K

Kamoliddin in pgsql – PostgreSQL
Ilia Zviagin
Order by?
уже по id отсортировано
источник
09:37пожаловаться#20