EN
формат файлов? сжатие ? ну как варианты...
Size: a a a
2019 July 09
N
orc. Да всё нормально. А трешхолда, я так понимаю, нет? :(
A
в клоудере вроде это варнинги были в менеджере а не с нод
N
а хортон датаноду с исчерпанным местом считает не очень рабочей 😀 но и ворнинги рисует, конечно
AZ
80% утилизации это всяко плохо, нужно не ворнинги убирать
A
Nata https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
dfs.datanode.du.reserved
dfs.datanode.du.reserved.pct
dfs.datanode.du.reserved
dfs.datanode.du.reserved.pct
S
это даже не в хдфс дело, это с файловыми система ниже на уровне оси
S
деградация
A
у нас первый заметно отличный от нуля стоит
с
Всем привет!
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
A
да, согласен что будет деградация, но иногда нужно пережить пока новых дисков подвезут =)
A
и не залочить кластер на запись совсем
EN
Всем привет!
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
там про питон? spark? tensor?
спецом открыл фейсбук и ссылку, стэк вообще не указан...
спецом открыл фейсбук и ссылку, стэк вообще не указан...
с
@oheldarkaa
Оп, уточню и вернусь с ответом по стеку
Оп, уточню и вернусь с ответом по стеку
N
Nata https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
dfs.datanode.du.reserved
dfs.datanode.du.reserved.pct
dfs.datanode.du.reserved
dfs.datanode.du.reserved.pct
спс, посмотрела, у меня тоже хорошо отличный от нуля, но в гигабайтах, не в терабайтах
A
а тепер уточним что Reserved space in bytes per volume
то есть если 10 дисков, то зарезервированное пространство умножайте на 10
то есть если 10 дисков, то зарезервированное пространство умножайте на 10
AZ
можно еще убрать ext4 резерв, если еще не убран - 5% диска по-умолчанию
EN
вроде ТБ 7200rpm нынче дешевые 😉
A
Nata конфиг идет на каждый диск, а в мониторинге статистика по месту зачастую суммарно на датаноду
поэтому и может казаться что резерв вроде маленький, но на самой ноде места ещё вагон
поэтому и может казаться что резерв вроде маленький, но на самой ноде места ещё вагон
N
ёжики...