Блокировки, ч5.
Пример. Большая система, 100 коннектов, 15000 записей в секунду, но постепенно замедляется до 0. Проблема: все больше процессов поиска взаимоблокировок с монопольным режимом, которые работают одновременно.
Причина: Расширение отношений.
Одновременно на несколько страниц (начиная с версии 9.6)
Однако, расширение индексов - только по одной странице. Это становится узкое место.
Почему? Потому что при UPDATE истекает время deadlock_timeout (из-за того, что происходит расширение индексов), что является сигналом для поиска взаимоблокировок. Это происходит постоянно, поэтому все больше процессов ищут блокировки. Есть патч, возможно скоро появится в ванильном postgresql.

Блокировки, ч6.
Выводы:
1. Правильное проектирование системы. Нужно понимать внутреннее устройство. Простейший пример - избегать “горячих точек” (постоянно изменять одну строку не стоит)
2. Организационные меры. Можно снизить нагрузку, с которой система не справляется, если разделить систему на несколько подсистем.
3. Можно покупать поддержку у разработчиков postgresql. Это иногда единственный способ починить вашу проблему.

Есть пост на habr, который содержит гораздо более детальную информацию.
https://habr.com/ru/company/postgrespro/blog/462877/

Блокировки, ч7
Вопросы из зала.
- Q: Вы говорили про разделение buffer mapping lock на 128 частей начиная с 9.5. Можно ли разделить на бОльшее количество кусков для высоконагруженной базы?
- A: Подобного параметра нет, это прописано прямо в коде БД. Если есть большое желание - можно поменять в исходниках и собрать самому.

- Q: Поможет ли увеличение dead_lock_timeout в том примере с высоконагруженной базой?
- A: Нет, база будет держаться чуть дольше, но все равно рано или поздно замедляется до 0.

Итак, готовимся к следующему слоту докладов. В 11 часов начнется:

Кафка. «Описание одной борьбы» / Денис Карасик (Badoo) — Конгресс-холл


Хардкор-трек от Романа Ивлиева:
Хэши в S3: как мы ускоряли прокачку трафика с 30 до 300 Мб/с с одного ядра / Олег Кошовец (Mail.ru Cloud Solutions) — Дели + Калькутта


Распределенные транзакции в YDB / Семён Чечеринда (Яндекс) — Пекин + Шанхай

Игра на выживание: запуск трансляций Английской Премьер-лиги в новом формате / Алексей Голубев (Okko) — Москва

Энтерпрайзные вызовы для Postgres'а / Иван Панченко (Postgres Professional) — Сингапур

BpfTrace — наконец, полноценная замена Dtrace в Linux / Петр Зайцев (Percona) — Найроби + Касабланка

Автоназначение курьеров в Delivery Club или безопасные эксперименты в логистике / Денис Горев (Delivery Club) — Рио-де-Жанейро

Раскрытие секретов Group Replication в MySQL / Vittorio Cioe (Oracle - MySQL) — Кейптаун - Этот доклад рекомендует сам Константин Осипов

От заказной разработки к продуктовой, или Трансформация организации и масштабирование / Александр Зиза, Вирна Штерн (Aletheia Digital) — Калининград (двухчасовой доклад)

в зале Мумбай докладов не будет

Перед первым докладом пообщались с Питером и Новосибом. Новосиб на моё «скажите эй» грянул громко и кайфово. В зале народ зааплодировал! Тем временем Питер очень интеллигентно поздоровался и озвучил тему светской беседы: «Почему я смотрю трансляцию с коллегами, а не из офиса?»

Открытие: пдф открылся не с первого раза. Неудивительно, компьютером без консоли тут никто пользоваться не умеет.

Начали с музыки. Музыканты играли зажигательно и вскрикивали «э-эй» в ритмических паузах. «Кричите «в продакшен», у народа отзовётся», - подсказал я.

Делится с нами своими впечатлениями Опытный Обровец)

По пути от кофе к стендам, соберите набор раздатки: блокноты-ручки-визитки это понятно. А еще там есть книги про кафку и наклейки для бэйджиков с тегами. Это очень удобная штука, чтобы находить коллег по стеку.

И еще через 10 минут у нас начинаются митапы. Кстати, митапы обычно длятся по два часа и, что самое главное, не записываются на видео! Так что если вы выбираете межды докладом и митапом, выбирайте митап. Доклад потом посмотрите в записи.
Вот вам список куда сходить:

R1.6: PVS-Studio / Илона Ильичева

R1.7: Обучение SELinux / Иван Агарков

A1.2: Обрабатываем 30+ миллионов событий в сутки, без магии и смс / Михаил Мазеин (ManyChat)

A1.3: Поиск «плохих» запросов на постоянной основе в PostgreSQL / DataEgret

A1.5: Getting Started with Kubernetes and MySQL / Николай Маржан

Любите ли вы мерч, так как любим его мы? Тогда соцсети в руки — и давай постить, а потом на стенд Онтико за призами. У нас есть: стикеры, кружки, картхолдеры и прикольные салфетки из микрофибры. Публикуйте посты, отзывы или конспекты с хэштегом #HighLoad2019 и приходите к нам!

Сейчас начнётся следующая трансляция. Интересно про что...

А вот про что...про футбол) как его передавало okko

​В последний момент к числу наших партнеров присоединилась компания Amazon Web Services. Заглядывайте на их стенд в Африке – сможете пообщаться с техническими экспертами компании, задать свои вопросы 👍

Все в начале года у okko было хорошо, пока они не выиграли тендер на эксклюзив трансляции английской премьер лиги:)

9 месяцев понадобилось для того, чтобы у OKKO все заработало

Но, конечно, на техчасть осталось 3,5 месяца