Size: a a a

2020 April 28

S

Slach in Sysadminka
Вадим Исаканов
https://www.youtube.com/watch?v=30b91_yJ_Ew
Недавно прошел митап про масштабирование mysql с инженерами из avito, badoo и др
Интересно и без лишней шелухи
Vitess тоже похвалили) на mysql 8 никто из них не переехал, все сидят на 5.7 и аналогичных форках
а выгоды нет вообще никакой... какого то кратного увеличения производительности тупо не наблюдается на больших масштабах
в том числе и в PostgreSQL ;)
Авито тоже на 13й постгрес не переедет я думаю =)
источник

ВИ

Вадим Исаканов in Sysadminka
Ну в новых версиях появляются и новые фичи, они когда-нибудь могут стать нужны
источник

S

Slach in Sysadminka
Вадим Исаканов
Ну в новых версиях появляются и новые фичи, они когда-нибудь могут стать нужны
чтобы они были нужны, нужно чтобы программисты о них знали и пользовались
а они о старых то фичах плохо знают и старыми то толком не пользуются =)
источник

S

Slach in Sysadminka
Переслано от Slach
всем доброе утро
а есть тут в чате те, кто имеет опыт восстановления репликации для случая когда есть триггеры на SLAVE?

binlog_format=MIXED

есть таблица prod.session2, при репликации с мастера на slave на таблицу навешаны триггеры, которые добавляют данные в bimereports и REPORTING
на slave залили dump без master data напрямую в prod.session2
с DROP TABLE \ CREATE TABLE + CREATE TRIGGER (в конце дампа)

в результате
имеем
SHOW SLAVE STATUS

     Replicate_Wild_Do_Table:
 Replicate_Wild_Ignore_Table: mysql.%,REPORTING.%,bimereports.%
                  Last_Errno: 1062
                  Last_Error: Could not execute Write_rows event on table prod.session2; Duplicate entry '3677293' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mysql-bin.000096, end_log_pos 66185900


не понимаю как теперь сделать так чтобы восстановить репликацию?
не потеряв данные которые есть на slave в REPORTING и в bimereports

думал в сторону pt-table-sync
но оно с триггерами не работает

сделать mysqldump —master-data только для выбранной таблицы? но вроде тоже не поможет, при попытке залить такой дамп на slave начнут триггеры срабатывать...

=( схему с триггерами городил не я, помогите люди добрые а?
источник

VI

Vorobev IVAN in Sysadminka
Коллеги, есть у кого RBGPOE на продажу одна штука?
источник

Т

ТыжСисАдмин in Sysadminka
Dmitry Bubnov
Отключить лог авторизации апи?
Ээ, онож в account сыпет, если сделать что-то типо "system,!account" то отрубит вообще все логи об авторизации, или я не прав? :)
источник

Т

ТыжСисАдмин in Sysadminka
Slach
+1
как бы для сетевого оборудование нормальная поддержка SNMP как мне кажется в первую очередь должна быть... не?
оно ж для того и придумывалось чтобы телеметрию универсально снимать?
или тут как везде "мы не осилили написать стандарт, а потом не осилили его правильно имплементировать"?
Всегда нужно пробовать что-то новое :)
источник

Т

ТыжСисАдмин in Sysadminka
Slach
чтобы они были нужны, нужно чтобы программисты о них знали и пользовались
а они о старых то фичах плохо знают и старыми то толком не пользуются =)
Для этого и существуют DBA  :)
источник

ND

Nikolay Didenko in Sysadminka
Slach
Переслано от Slach
всем доброе утро
а есть тут в чате те, кто имеет опыт восстановления репликации для случая когда есть триггеры на SLAVE?

binlog_format=MIXED

есть таблица prod.session2, при репликации с мастера на slave на таблицу навешаны триггеры, которые добавляют данные в bimereports и REPORTING
на slave залили dump без master data напрямую в prod.session2
с DROP TABLE \ CREATE TABLE + CREATE TRIGGER (в конце дампа)

в результате
имеем
SHOW SLAVE STATUS

     Replicate_Wild_Do_Table:
 Replicate_Wild_Ignore_Table: mysql.%,REPORTING.%,bimereports.%
                  Last_Errno: 1062
                  Last_Error: Could not execute Write_rows event on table prod.session2; Duplicate entry '3677293' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mysql-bin.000096, end_log_pos 66185900


не понимаю как теперь сделать так чтобы восстановить репликацию?
не потеряв данные которые есть на slave в REPORTING и в bimereports

думал в сторону pt-table-sync
но оно с триггерами не работает

сделать mysqldump —master-data только для выбранной таблицы? но вроде тоже не поможет, при попытке залить такой дамп на slave начнут триггеры срабатывать...

=( схему с триггерами городил не я, помогите люди добрые а?
Помнится от Мишы у нас стоял такой отборный мат в такие моменты. Относительно быстро выпилили все триггеры из баз 🙂
источник

ND

Nikolay Didenko in Sysadminka
Slach
Переслано от Slach
всем доброе утро
а есть тут в чате те, кто имеет опыт восстановления репликации для случая когда есть триггеры на SLAVE?

binlog_format=MIXED

есть таблица prod.session2, при репликации с мастера на slave на таблицу навешаны триггеры, которые добавляют данные в bimereports и REPORTING
на slave залили dump без master data напрямую в prod.session2
с DROP TABLE \ CREATE TABLE + CREATE TRIGGER (в конце дампа)

в результате
имеем
SHOW SLAVE STATUS

     Replicate_Wild_Do_Table:
 Replicate_Wild_Ignore_Table: mysql.%,REPORTING.%,bimereports.%
                  Last_Errno: 1062
                  Last_Error: Could not execute Write_rows event on table prod.session2; Duplicate entry '3677293' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mysql-bin.000096, end_log_pos 66185900


не понимаю как теперь сделать так чтобы восстановить репликацию?
не потеряв данные которые есть на slave в REPORTING и в bimereports

думал в сторону pt-table-sync
но оно с триггерами не работает

сделать mysqldump —master-data только для выбранной таблицы? но вроде тоже не поможет, при попытке залить такой дамп на slave начнут триггеры срабатывать...

=( схему с триггерами городил не я, помогите люди добрые а?
так а если перед импортом дропнуть триггеры, а после их восстановить.
ессно переб снятием дампа с мастера стопать слейв надо. и запускать после восстановления триггеров.
источник

ND

Nikolay Didenko in Sysadminka
ну и лок тейбл на мастере на время снятия дампа, чтобы в бинлог не продублировались изменения.
источник

S

Slach in Sysadminka
ТыжСисАдмин
Всегда нужно пробовать что-то новое :)
только если новое ожидаемо лучше работает
очевидно что толпа разрозненных API
хуже чем унифицированный SNMP
источник

S

Slach in Sysadminka
ТыжСисАдмин
Для этого и существуют DBA  :)
ээээ... я бы сказал так что у вас вообще какое то очень странное представление о работе DBA ;)

DBA физически не в состоянии ЗАСТАВИТЬ перейти на новую версию
ну только если в старой во что-то такое уперлись, что просто пипец мешает жить
ну типа как MySQL4 без транзакций и row lock "недобаза"
а MySQL5 уже что-то похожее на СУБД...
источник

S

Slach in Sysadminka
Nikolay Didenko
так а если перед импортом дропнуть триггеры, а после их восстановить.
ессно переб снятием дампа с мастера стопать слейв надо. и запускать после восстановления триггеров.
ну вот как то так и сделал в итоге
источник

S

Slach in Sysadminka
Nikolay Didenko
ну и лок тейбл на мастере на время снятия дампа, чтобы в бинлог не продублировались изменения.
ну это mysqldump да,.. но повезло что нагрузки на master нет
и что это staging ...
источник

Т

ТыжСисАдмин in Sysadminka
Slach
только если новое ожидаемо лучше работает
очевидно что толпа разрозненных API
хуже чем унифицированный SNMP
API в любом случае работает лучше, хотябы потому что API имеет более широкую функциональность, а юзать его или не юзать, уже будет зависеть от конечной цели, но разобраться и уметь юзать нужно
источник

Т

ТыжСисАдмин in Sysadminka
Slach
ээээ... я бы сказал так что у вас вообще какое то очень странное представление о работе DBA ;)

DBA физически не в состоянии ЗАСТАВИТЬ перейти на новую версию
ну только если в старой во что-то такое уперлись, что просто пипец мешает жить
ну типа как MySQL4 без транзакций и row lock "недобаза"
а MySQL5 уже что-то похожее на СУБД...
Я про программистов не знающих старые фичи :)
источник

Т

ТыжСисАдмин in Sysadminka
Ну и DBA - в смысле архитект а не админ :)
источник

ND

Nikolay Didenko in Sysadminka
ТыжСисАдмин
Ну и DBA - в смысле архитект а не админ :)
дак архитектор или DBA?
источник

ND

Nikolay Didenko in Sysadminka
DBA - это Data Base Administrtor - OPS для баз данных.
источник