Size: a a a

Чат конференции HighLoad++

2019 July 11

ТО

Татьяна ОНТИКО Support in Чат конференции HighLoad++
Yuriy Dorogov
А у вас домен протух http://devopsconf.io
Пофиксили, к вечеру сайт должен ожить.
источник
2019 July 12

p

pragus in Чат конференции HighLoad++
Vyacheslav Olkhovchenkov
все остальное -- какой-то поток несвязанных заклинаний.
"Структура берет эти блоки и собирает из них векторы (массивы) запросов на ввод или вывод"
Речь про biovec, если я правильно помню

https://notes.shichao.io/lkd/ch14/#the-bio-structure
источник

p

pragus in Чат конференции HighLoad++
drrtuy
В mysql есть directio?
А что такое directio в данном контексте?
источник

VO

Vyacheslav Olkhovchenkov in Чат конференции HighLoad++
pragus
Речь про biovec, если я правильно помню

https://notes.shichao.io/lkd/ch14/#the-bio-structure
если очень захотеть то методома поиска глубокого смысла можно что-то притянуть можно, но нафига?
источник

d

drrtuy in Чат конференции HighLoad++
pragus
А что такое directio в данном контексте?
Читаем минуя pagecache. С учётом того, что MariaDB/mysql рекомендует увеличивать внутренний block cache, то вполне возможно там используется чтение с O_DIRECT.  Но я посмотрю на досуге в код.
источник

p

pragus in Чат конференции HighLoad++
drrtuy
Читаем минуя pagecache. С учётом того, что MariaDB/mysql рекомендует увеличивать внутренний block cache, то вполне возможно там используется чтение с O_DIRECT.  Но я посмотрю на досуге в код.
Ну o_direct - это ж про то что i/o как на чтение, так и на запись пройдет мимо page cache, не более. Для записи там все равно надо будет дергать fsync/fdatasync.
источник

p

pragus in Чат конференции HighLoad++
O_DIRECT в коде pg я где-то видел, кстати
источник

d

drrtuy in Чат конференции HighLoad++
pragus
Ну o_direct - это ж про то что i/o как на чтение, так и на запись пройдет мимо page cache, не более. Для записи там все равно надо будет дергать fsync/fdatasync.
Кто-то посмел сказать обратное :)?
источник

p

pragus in Чат конференции HighLoad++
drrtuy
Кто-то посмел сказать обратное :)?
Нет ;) но я не понимаю ценность o_direct на чтение в данном контексте
источник

d

drrtuy in Чат конференции HighLoad++
pragus
Нет ;) но я не понимаю ценность o_direct на чтение в данном контексте
Это очень хороший вопрос. И пока я не посмотрю код, я не готов на него ответить в контексте, так сказать.
источник

VO

Vyacheslav Olkhovchenkov in Чат конференции HighLoad++
мне кажется это не единственный хороший вопорс по этому докладу
источник

p

pragus in Чат конференции HighLoad++
источник

p

pragus in Чат конференции HighLoad++
Блочные устройства просто стали слишком быстрые и многие к этому оказались не готовы.

https://lkml.org/lkml/2019/6/13/1794
источник

VO

Vyacheslav Olkhovchenkov in Чат конференции HighLoad++
не такие они и быстрые
источник

CI

Chewbacca In Love in Чат конференции HighLoad++
Подскажите, кто сталкивался с задачей стриминга данных из postgres в кафка, чем пользуетесь? Есть ли продакшн реди решения?
источник

d

drrtuy in Чат конференции HighLoad++
Chewbacca In Love
Подскажите, кто сталкивался с задачей стриминга данных из postgres в кафка, чем пользуетесь? Есть ли продакшн реди решения?
У меня был доклад на HL++2018 про стриминг из pg в Кафка на базе Debezium.
источник

d

drrtuy in Чат конференции HighLoad++
Стоит заметить, что Авито на одном из митапов рассказывали, что им Debezium не подошёл.
источник

CI

Chewbacca In Love in Чат конференции HighLoad++
А есть где то этот доклад в открытом доступе?
источник

d

drrtuy in Чат конференции HighLoad++
источник

p

pragus in Чат конференции HighLoad++
Vyacheslav Olkhovchenkov
не такие они и быстрые
Ну мне тут кто-то рассказывал что есть у них ssd где 99p запросов на чтение укладываются в 80us
источник