Телеграмм чат группы HighLoadTalks страница 1243

Size: a a a

Чат конференции HighLoad++

2020 February 25

time dd if=/dev/random of=TEST bs=1M count=200
dd: warning: partial read (116 bytes); suggest iflag=fullblock
^C0+39 records in
0+39 records out
528 bytes (528 B) copied, 195.844 s, 0.0 kB/s

real 3m15.845s
user 0m0.002s
sys 0m0.002s

Рэндом нельзя. Погуглите это известный кейс. Он не то меряет

источник

18:58пожаловаться #1

Nikolay in Чат конференции HighLoad++

Можно попробовать через perf или systemtap зайти , но это долгий путь. Может у вас батарейка на контролёра села. Посмотрите через iostat

источник

19:02пожаловаться #2

Al T in Чат конференции HighLoad++

Максим, а еще гляньте плиз что у вас стоит за
IO scheduler

источник

19:04пожаловаться #3

Al T in Чат конференции HighLoad++

cat /sys/block/sda/queue/scheduler

источник

19:04пожаловаться #4

Al T in Чат конференции HighLoad++

вместо sda подставить ваш nvme

источник

19:05пожаловаться #5

Al T in Чат конференции HighLoad++

поставьте ему noop или deadline

источник

19:05пожаловаться #6

2020 February 26

Maxim in Чат конференции HighLoad++

Al T

поставьте ему noop или deadline

Там сейчас:
[none] mq-deadline kyber

источник

07:21пожаловаться #7

Alexey Er in Чат конференции HighLoad++

Об чём ещё вопрос?
Разобрались же, что тормозит синк с диском при коммите. Так надо делать коммит не на каждый чих, а после обработки пачки записей (50-5000). Тут файл импортируется, так что разбить данные на блоки несложно.

источник

08:03пожаловаться #8

Nikolay in Чат конференции HighLoad++

Это следствие проблемы , а не причина

источник

09:47пожаловаться #9

Sergey Bezrukov in Чат конференции HighLoad++

Nikolay

Это следствие проблемы , а не причина

Ну вообще систем, где при импорте файлов по каждой записи вызывается коммит в природе не так уж много. Если только банки какие-нибудь.

источник

09:49пожаловаться #10

Al T in Чат конференции HighLoad++

Sergey Bezrukov

не будите сектантов Сергей - неправильно реагируют на batch-commits

источник

12:12пожаловаться #11

Nikolay in Чат конференции HighLoad++

Только избранные знают как правильно реагировать )

источник

12:17пожаловаться #12

Al T in Чат конференции HighLoad++

безусловно ))

источник

12:17пожаловаться #13

Nikolay in Чат конференции HighLoad++

Есть такой мультик . Тяп ляп и готово )

источник

12:18пожаловаться #14

Sergey Bezrukov in Чат конференции HighLoad++

Al T

не будите сектантов Сергей - неправильно реагируют на batch-commits

Я вообще за идемпотентность загрузки из внешних источников ) Если обломились посередине - грохнули всё и заново залили. Но это, конечно, не всегда достижимо.

источник

12:18пожаловаться #15

Nikolay in Чат конференции HighLoad++

Так сойдет | Советские поучительные мультики для малышей
https://youtu.be/8Kr23RvT--k

YouTube

Так сойдет | Советские поучительные мультики для малышей

Так сойдет - советский мультфильм о зайце, который не доделывал свою работу. Поучительный мультик для детей о труде. Наша группа Вконтакте https://vk.com/soy...

источник

12:19пожаловаться #16

Al T in Чат конференции HighLoad++

а есть и про поиск себя через ненужные боль и страдания :)
применительно к mysql и innodb в случае аппаратного сбоя сервера потеря 1 секунды коммитов это просто подарок небес по сравнению с innoDB recovery которая часто заканчивается ничем

источник

12:20пожаловаться #17

Al T in Чат конференции HighLoad++

мультики эти я помню ))

источник

12:23пожаловаться #18

Al T in Чат конференции HighLoad++

Maxim

Там сейчас:
[none] mq-deadline kyber

это в докере как я понимаю.. мне кажется рано или поздно доке все равно полезет к host OS так что вы смотрите на эти параметры вне докера

источник

12:24пожаловаться #19

Maxim in Чат конференции HighLoad++

Al T

Это в системе.

источник

14:40пожаловаться #20