Size: a a a

2020 February 17

А

Алексей in Data Engineers
в других бд обычно эти показатели снимают несколько часов, когда система загружена на свою норму и берут среднее
источник

AZ

Anton Zadorozhniy in Data Engineers
Алексей
в других бд обычно эти показатели снимают несколько часов, когда система загружена на свою норму и берут среднее
а в какой так? я знаю про наши железки, там настройки оптимизатора привязываются к конкретной модели железки, по результатам стендовых испытаний на разных ворклоадах
источник

А

Алексей in Data Engineers
в оракле системная статистика так собирается
источник

А

Алексей in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
а, да, систем статс же
источник

AZ

Anton Zadorozhniy in Data Engineers
но для хайва это космос, особенно если учесть что данные вообще могут где-то на С3 лежать, сам кластер живет 8 часов и в след раз чорт знает на чем мб поднят, но хайв и не СУБД, так что все довольны
источник

C

Combot in Data Engineers
Alex has been banned! Reason: CAS ban.
источник

N

Nikolay in Data Engineers
Ну в оракле та почти никто не делает . Это для галочки скорее. Или собрать один раз и все
источник

N

Nikolay in Data Engineers
Если собирать всегда , то в следующий раз соберётся что - то другое. И планы поедут и что ?
источник

OK

Oleh K in Data Engineers
Привет вопрос по дата пайплайну есть очередь sqs для трейна моделей и набор воркеров которые ее слушают
В очередь может входить меседж с трейном для разных компаний по идишнкам соотвественно. Проблема в том что для каждой компании одновременно может ити только один рейтрейн посколько файл модели может ламаться в случае паралельной записи. Есть какие-то грамотные подходы как это ограничить?

Как идея это redlock с ид компании  но это выглядит тухло
источник

OK

Oleh K in Data Engineers
за любой хинт буду признателен
источник

А

Алексей in Data Engineers
Nikolay
Ну в оракле та почти никто не делает . Это для галочки скорее. Или собрать один раз и все
собирается каждый раз когда меняется железо
источник

N

Nikolay in Data Engineers
Я всегда выставлял рукавами. Просто не все понимают, что cost который считает оракл имеет конечно отношение к ожидаемой производительности  ( cost - это стоимость в количестве одноблочных чтений ), но является всего лишь моделью .
источник

N

Nikolay in Data Engineers
Например у оптимизатора оракл нет информации о том , что сейчас а памяти , а что на диски. И он делает предположение о том , что все на диске ( только при доступе по индексу есть параметр , который позволяет сделать adjust), но эта корректировка всегда постоянна.
источник

N

Nikolay in Data Engineers
А это не так. Не все на диске. Что-то уже в buffer cache. И уж конечно он совсем не видит тех запросов , которые уже работают и дают нагрузку на цепочки в buffer cache. Он много что не учитывает , хотя делает свою работу лучше любого человека. Я про cbo оракловый. То же самое и с вводом выводом.
источник

СХ

Старый Хрыч in Data Engineers
ну оракл это вообще умный монстр
источник

СХ

Старый Хрыч in Data Engineers
аналогов которому нет, и в связи с импортозамещением чего уже только не делают
источник

СХ

Старый Хрыч in Data Engineers
было 2 сервера с ораклом стало 30 серверов с пг и 60 серверов с микросервисами чтобы заменить оракл....
источник

Е

Евгений in Data Engineers
Старый Хрыч
было 2 сервера с ораклом стало 30 серверов с пг и 60 серверов с микросервисами чтобы заменить оракл....
ой начинается
источник

СХ

Старый Хрыч in Data Engineers
ну реалии
источник