Size: a a a

Чат конференции HighLoad++

2020 February 25

N

Nikolay in Чат конференции HighLoad++
Maxim
time dd if=/dev/random of=TEST bs=1M count=200
dd: warning: partial read (116 bytes); suggest iflag=fullblock
^C0+39 records in
0+39 records out
528 bytes (528 B) copied, 195.844 s, 0.0 kB/s


real  3m15.845s
user  0m0.002s
sys  0m0.002s
Рэндом нельзя. Погуглите это известный кейс. Он не то меряет
источник

N

Nikolay in Чат конференции HighLoad++
Можно попробовать  через perf или systemtap зайти , но это долгий путь. Может у вас батарейка на контролёра села. Посмотрите через iostat
источник

AT

Al T in Чат конференции HighLoad++
Максим, а еще гляньте плиз что у вас стоит за
IO scheduler
источник

AT

Al T in Чат конференции HighLoad++
cat /sys/block/sda/queue/scheduler
источник

AT

Al T in Чат конференции HighLoad++
вместо sda подставить ваш nvme
источник

AT

Al T in Чат конференции HighLoad++
поставьте ему noop или deadline
источник
2020 February 26

M

Maxim in Чат конференции HighLoad++
Al T
поставьте ему noop или deadline
Там сейчас:
[none] mq-deadline kyber
источник

AE

Alexey Er in Чат конференции HighLoad++
Об чём ещё вопрос?
Разобрались же, что тормозит синк с диском при коммите. Так надо делать коммит не на каждый чих, а после обработки пачки записей (50-5000). Тут файл импортируется, так что разбить данные на блоки несложно.
источник

N

Nikolay in Чат конференции HighLoad++
Это следствие проблемы , а не причина
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Nikolay
Это следствие проблемы , а не причина
Ну вообще систем, где при импорте файлов по каждой записи вызывается коммит в природе не так уж много.  Если только банки какие-нибудь.
источник

AT

Al T in Чат конференции HighLoad++
Sergey Bezrukov
Ну вообще систем, где при импорте файлов по каждой записи вызывается коммит в природе не так уж много.  Если только банки какие-нибудь.
не будите сектантов Сергей - неправильно реагируют на batch-commits
источник

N

Nikolay in Чат конференции HighLoad++
Только избранные знают как правильно реагировать )
источник

AT

Al T in Чат конференции HighLoad++
безусловно ))
источник

N

Nikolay in Чат конференции HighLoad++
Есть такой мультик . Тяп ляп и готово )
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Al T
не будите сектантов Сергей - неправильно реагируют на batch-commits
Я вообще за идемпотентность загрузки из внешних источников ) Если обломились посередине - грохнули всё и заново залили.  Но это, конечно, не всегда достижимо.
источник

N

Nikolay in Чат конференции HighLoad++
Так сойдет | Советские поучительные мультики для малышей
https://youtu.be/8Kr23RvT--k
источник

AT

Al T in Чат конференции HighLoad++
а есть и про поиск себя через ненужные боль и страдания :)
применительно к mysql и innodb в случае аппаратного сбоя сервера потеря 1 секунды коммитов это просто подарок небес по сравнению с innoDB recovery которая часто заканчивается ничем
источник

AT

Al T in Чат конференции HighLoad++
мультики эти я помню ))
источник

AT

Al T in Чат конференции HighLoad++
Maxim
Там сейчас:
[none] mq-deadline kyber
это в докере как я понимаю.. мне кажется рано или поздно доке все равно полезет к host OS так что вы смотрите на эти параметры вне докера
источник

M

Maxim in Чат конференции HighLoad++
Al T
это в докере как я понимаю.. мне кажется рано или поздно доке все равно полезет к host OS так что вы смотрите на эти параметры вне докера
Это в системе.
источник