Size: a a a

Чат конференции HighLoad++

2020 November 24

NK

ID:0 in Чат конференции HighLoad++
⚡️Онтико продолжает серию митапов с партнёрами.

3 декабря в 17:00 подключайтесь к митапу с ECOMMPAY «Безопасность и надёжность в финтехе»

Во время онлайн-стрима вывернем финтех-компанию наизнанку и посмотрим туда, куда смотреть неприятно. Разберем проблемы инцидент-менеджмента на составляющие и поймем, как оптимизировать процессы.

Cпикеры:
🔹Евгений Кузовлев. Руководитель департамента эксплуатации и разработки сервисных систем.
🔹Ольга Свиридова. Работает в сфере информационной безопасности, помогает внедрять процессы безопасной разработки.
🔹Сергей Каменев. Тимлид команды SRE. Тушит пожары.
🔹Илья Деревянко. Заместитель руководителя отдела мониторинга.

✅Участие бесплатное, но необходимо зарегистрироваться. Регистрация и подробности по ссылке.

Присоединяйтесь сами, зовите коллег, готовьте вопросы для спикеров.
источник

p

ppavel in Чат конференции HighLoad++
Тимлид команды SRE тушит пожары?
источник
2020 November 25

NK

ID:0 in Чат конференции HighLoad++
😎Антон Виноградов (SberTech) делает Apache Ignite и Сбер лучше. – Каким именно образом, расскажет на HighLoad++.

✅В Сбере используют распределенное хранилище Apache Ignite в продакшне, как следствие — предъявляют к нему высокие требования по надежности и доступности. Раньше в случае выхода узла из строя обработка поступающих операций приостанавливалась на продолжительный период времени, до десятков секунд в некоторых кейсах. Простои такой длительности недопустимы для сервисов, поэтому процедура восстановления в Apache Ignite была доработана Антоном. На конференции Антон расскажет о том, как было, что изменилось и что еще предстоит сделать.

📍Расписание, программа, билеты.
www.highload.ru
Антон Виноградов на HighLoad++ 2020
Мы используем распределенное хранилище Apache Ignite в продакшне, как следствие — предъявляем к нему высокие требования по надежности и доступности.Раньше в случае выхода узла из строя обработка поступающих операций приостанавливалась на продолжительный период времени, до десятков секунд в некоторых кейсах. Простои такой длительности недопустимы для наших сервисов, поэтому процедура восстановления в Apache Ignite была мною доработана. Расскажу о том, как было, что изменилось и что еще предстоит сделать. В докладе рассмотрим:- гарантии сохранности данных в распределенных хранилищах,- партиционирование и ребалансировку данных,- разницу между кластером, кэшом и партицией,- типы распределенных кэшей, типы партиций,- механизмы, позволяющие кластеру сохранять работоспособность при смене топологии (входе и выходе узлов),- механизмы обеспечения консистентности данных при смене топологии,- "трюки", позволяющие минимизировать время простоя при смене топологии,- как мы проверяем эффективность оптимизаций, разрабатываемых…
источник
2020 November 27

NK

ID:0 in Чат конференции HighLoad++
🔥Уже в понедельник 30 ноября в 18:00 МСК ждём вас на онлайн-митапе «Эволюция через боль. Как устроен СберБанк Онлайн изнутри?».

На митапе рассмотрим этапы создания и развития банковской архитектуры с нуля и узнаем, что под капотом у крупнейшего банка страны. Нырнём поглубже, чтобы увидеть все части «айсберга» СберБанк Онлайн. Узнаем, как развивается архитектура Сбера сейчас.

✅Подключайтесь 30 ноября в 18:00 МСК, регистрация здесь.

😎Самые активные участники митапа получат приятные бонусы: промокоды на Delivery Club и сертификаты во FragStore.
источник

🦄

🦄 in Чат конференции HighLoad++
ID:0
🔥Уже в понедельник 30 ноября в 18:00 МСК ждём вас на онлайн-митапе «Эволюция через боль. Как устроен СберБанк Онлайн изнутри?».

На митапе рассмотрим этапы создания и развития банковской архитектуры с нуля и узнаем, что под капотом у крупнейшего банка страны. Нырнём поглубже, чтобы увидеть все части «айсберга» СберБанк Онлайн. Узнаем, как развивается архитектура Сбера сейчас.

✅Подключайтесь 30 ноября в 18:00 МСК, регистрация здесь.

😎Самые активные участники митапа получат приятные бонусы: промокоды на Delivery Club и сертификаты во FragStore.
через боль пользователей? интересно будет послушать, конечно
источник

A

Art in Чат конференции HighLoad++
При таком объеме боль неизбежен
источник

NK

ID:0 in Чат конференции HighLoad++
Однажды Дмитрий Калугин-Балашов понял, что компании не всегда выбирают самое эффективное решение. Иногда покупают то, где у клиента будет меньше проблем.

Познав истину, Дмитрий написал движок поиска для почтовых ящиков Mail.ru и рассказал об этом конференции HighLoad++ 2013. Сейчас Дмитрий работает над поиском в Couchbase. На HighLoad++ 2019 Дмитрий рассказал, как устроен полнотекстовый поиск в Couchbase Server.

Расшифровку по следам этого доклада читайте в нашем блоге на Хабре.
источник

NK

ID:0 in Чат конференции HighLoad++
💥У Дмитрия Бундина из Grid Dynamics более 6 лет опыта разработки бэкенда под JVM и более двух – разработки I/O-интенсивных приложений на C под Linux, профилирования и Low Level Performance Engineering x86 бэкендов.

В докладе на HighLoad++ Дмитрий рассмотрит методы оптимизации I/O в JVM и копирования памяти в ядре Linux и как это позволяет увеличить пропускную способность передачи данных на 20%.

Программа и билеты на HighLoad++ здесь.
www.highload.ru
Дмитрий Бундин на HighLoad++ 2020
Аналитические платформы обрабатывают все больше данных, и все чаще возникает вопрос об их производительности. У каждой платформы есть свои методы и приемы по оптимизации, но для создания действительно высокопроизводительной системы мы должны иметь глубокое понимание всех составляющих элементов платформы и потоков данных. Одной из наиболее дорогостоящих операций в системе доставки данных является работа с файловой системой, её и нужно оптимизировать. Прямая работа с диском при файловом I/O — не самая дешевая операция и современные ОС применяют различные оптимизации, такие как кэширование и readahead, чтобы уменьшить ее влияние на производительность. В некоторых случаях обращений к диску можно почти полностью избежать, читая большую часть данных из кэша. В докладе мы рассмотрим методы оптимизации I/O в JVM и копирования памяти в ядре Linux и как это позволяет увеличить пропускную способность передачи данных на 20%.
источник

NK

ID:0 in Чат конференции HighLoad++
А вы ещё не видели? Журналист Артем Малышев и программист Фил Ранжин, авторы подкаста «Мы обречены», записали интервью с Олегом Буниным.

Полтора часа о конференциях, NGINX и рыбалке по ссылке — https://www.youtube.com/watch?v=wtc3GFFK-WI
источник
2020 November 28

AL

Anna Lyutenko in Чат конференции HighLoad++
В издательстве «ДМК Пресс» проходит акция «Чёрная пятница». По промокоду ОНТИКО30 с 27 по 29 ноября включительно действует скидка 30% на бумажный формат и PDF-версию ВСЕХ книг издательства.
источник
2020 November 29

А

Антон in Чат конференции HighLoad++
Добрый вечер всем!
Хотел бы обратится за советом. Меня немного извела одна нетривиальная задача для pyspark. Обычно в спарке мы создаем огромные массивы из маленьких элементов (числа, строки и пр). Но что если я хочу разместить в RDD небольшой массив, но при этом, каждый элемент может весить от гига и больше. Конкретно я хочу провернуть вот что. Допустим у меня есть некий объект - kd дерево размером гигов 5. Я хочу найти в нем k ближайших соседей для маленького набора фич. Причем хочу провернуть это 10ки и сотни раз, маленькие наборы фич, на одном и том же дереве. Строить дерево каждый раз будет очень долго, поэтому есть желание сохранить это уже построенное дерево в памяти, в RDD, чтобы экзекьютор мог его быстро достать. Возможно ли что-то подобное?
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Антон
Добрый вечер всем!
Хотел бы обратится за советом. Меня немного извела одна нетривиальная задача для pyspark. Обычно в спарке мы создаем огромные массивы из маленьких элементов (числа, строки и пр). Но что если я хочу разместить в RDD небольшой массив, но при этом, каждый элемент может весить от гига и больше. Конкретно я хочу провернуть вот что. Допустим у меня есть некий объект - kd дерево размером гигов 5. Я хочу найти в нем k ближайших соседей для маленького набора фич. Причем хочу провернуть это 10ки и сотни раз, маленькие наборы фич, на одном и том же дереве. Строить дерево каждый раз будет очень долго, поэтому есть желание сохранить это уже построенное дерево в памяти, в RDD, чтобы экзекьютор мог его быстро достать. Возможно ли что-то подобное?
У RDD вроде был метод persist() ?
источник

А

Антон in Чат конференции HighLoad++
Просто вызвать persist на массиве из больших обектов не получится. Java выдаст ошибку памяти. Нужен способ хитрее.
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Антон
Просто вызвать persist на массиве из больших обектов не получится. Java выдаст ошибку памяти. Нужен способ хитрее.
А там разве нету персиста со сбросом на диск в т.ч ? Должен быть по идее.
источник
2020 November 30

KB

Konstantin Burkalev in Чат конференции HighLoad++
Всем привет! К вашему вниманию 125-й выпуск @SDCast, в котором у меня в гостях Антон Виноградов, руководитель фронтенд-разработки SberDevices. В этом выпуске мы говорим про интернет вещей, умные дома и устройства и голосовые ассистенты. Приятного прослушивания! И присоединяйтесь к нашему уютному чатику @SDCast, где можно обсудить старые и новые выпуски, а иногда и пообщаться с гостями! https://sdcast.ksdaemon.ru/2020/11/sdcast-125/
SDCast
SDCast #125: в гостях Антон Виноградов, руководитель фронтенд-разработки SberDevices
Встречайте 125-й выпуск подкаста, в котором у меня в гостях Антон Виноградов, руководитель фронтенд-разработки SberDevices (https://sberdevices.ru/). В этом выпуске мы говорим про интернет вещей, умные дома и устройства и голосовые ассистенты.

В начале Антон рассказал про свой путь в мире Айти от фронтенда до умных устройств, рассказал про архитектуру фронтенда Яндекс поиска и внедрение там react. Мы обсудили подход к выбору технологий, эксперименты и причины такого перехода.  

Поговорили мы и про Яндекс.Станцию и умные дома в общем. Обсудили различные протоколы физические взаимодействия устройств, программные протоколы интеграции. Антон рассказал немного про устройство Яндекс.Станции. Мы поговорили про взаимодействие с системными компонентами из браузерного JavaScript окружения, обсудили какими навыками необходимо обладать фронтенд-разработчику встроенных программно-аппаратных решений.

Следующей темой обсуждения стали голосовые помощники. Антон немного рассказал про Алису Яндекса и голосовых помощников…
источник

ЕА

Евгения Алферова... in Чат конференции HighLoad++
Финальный опрос после митапа Сбера «Эволюция через боль. Как устроен СберБанк Онлайн изнутри?».

Поделитесь своим мнением о митапе. И мы проводим розыгрыш призов среди ответивших на вопросы :)

https://conf.ontico.ru/polls/3224104
источник
2020 December 01

PD

Phil Delgyado in Чат конференции HighLoad++
Ох, прослушал доклад...
Ощущение тотальной некомпетентности, очень грустно...
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Phil Delgyado
Ох, прослушал доклад...
Ощущение тотальной некомпетентности, очень грустно...
Какой из ?
источник

AS

Aleksey Smirnov in Чат конференции HighLoad++
Phil Delgyado
Ох, прослушал доклад...
Ощущение тотальной некомпетентности, очень грустно...
Спикеров, аудитории или всех вместе? )
Тоже фейспалм был.

Вспомнился как раз на контрасте твой рассказ про архитектуру платежной системы, вот там было интересно правда.
источник

A

Andrey in Чат конференции HighLoad++
Релизнули новую версию KPHP в ноябре 2020. Теперь с поддержкой ООП и на PHP 7:
https://habr.com/ru/company/vk/blog/527420/

Официальная документация по новому KPHP: https://vkcom.github.io/kphp/

Обязательное для изучения и понимания сообщество: https://vk.com/kitphp
источник