N
на физический диск? или на virtual уже?
Size: a a a
2019 July 09
N
стоп, на virtual поидее
A
Что значит виртуал и физический?
У вас перечислены volumes в датаноде, для каждой из них применяется правило
У вас перечислены volumes в датаноде, для каждой из них применяется правило
AZ
а вроде балансер сейчас умеет балансировать между дисками внутри одной ноды? а то раньше была такая проблема..
AP
Всем привет!
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
Уже 16 июля пройдет вебинар #ODSC “Kubeflow, MLFlow and Beyond — Augmenting ML Delivery”
❓Когда? 16 июля, 1 pm – 2 pm EST.
Спикер: Степан Пушкарев, CTO of Provectus
✨ Регистрация: http://bit.ly/MLworkflowODSCWebinar
Степан расскажет, как спроектировать эффективный ML процесс, про применение в нём различных open source инструментов способствующих автоматизации и воспроизводимости.
🚀 Узнать больше: https://www.facebook.com/events/1183366371834820
На основе какого стека будет референс? Непосредственно сравнение инструментария будет? Заголовок интересный, а описание скудное.
A
Да, в тройке вроде как пофиклиси, чтобы не только между нодами, но и в пределах ноды между волумами делал балансировку
A
Клоудера даже бекпортила вроде как в 5.х какой-то
N
Что значит виртуал и физический?
У вас перечислены volumes в датаноде, для каждой из них применяется правило
У вас перечислены volumes в датаноде, для каждой из них применяется правило
у меня raid собран
N
а с точки зрения dn диск один
A
Если в конфиге только один путь, то значит один :)
S
Да, в тройке вроде как пофиклиси, чтобы не только между нодами, но и в пределах ноды между волумами делал балансировку
так там два режима же. раунд робин и последовательная запись
E
Nata
у меня raid собран
Но зачем?
A
@barloc https://community.hortonworks.com/articles/87440/hdfs-balancer-balancing-data-between-disks-on-a-da.html
Там же и ссылки на тикеты, что-то в 2.7 что-то в 3.0
Там же и ссылки на тикеты, что-то в 2.7 что-то в 3.0
с
там про питон? spark? tensor?
спецом открыл фейсбук и ссылку, стэк вообще не указан...
спецом открыл фейсбук и ссылку, стэк вообще не указан...
Будут использованы Kubeflow и Hydrosphere. Касательно MLFlow и Kubeflow нельзя сказать, что их можно сравнить. Они выполняют относительно разный функционал, и вместе дополняют друг друга.
S
@barloc https://community.hortonworks.com/articles/87440/hdfs-balancer-balancing-data-between-disks-on-a-da.html
Там же и ссылки на тикеты, что-то в 2.7 что-то в 3.0
Там же и ссылки на тикеты, что-то в 2.7 что-то в 3.0
спс
AP
Будут использованы Kubeflow и Hydrosphere. Касательно MLFlow и Kubeflow нельзя сказать, что их можно сравнить. Они выполняют относительно разный функционал, и вместе дополняют друг друга.
Ну так-то они все (MLFlow, Hydrosphere, Kubeflow) чем-то отличаются, поэтому интересно посмотреть, что спикер включил в референс и какие задачи делегировал. Ок, спасибо!
AB
Привет всем,
Может кто помочь с интеграцией Spark/Kafka
1. Надо загрузить DataFrame в Kafka (т.е передать messages). Мы не используем Spark Streaming. Работаем со SparSQL 2.1.0. Есть ли у кого-то пример как это сделать, потому что сейчас делаю так и не уверен что это хороший solution:
Может кто помочь с интеграцией Spark/Kafka
1. Надо загрузить DataFrame в Kafka (т.е передать messages). Мы не используем Spark Streaming. Работаем со SparSQL 2.1.0. Есть ли у кого-то пример как это сделать, потому что сейчас делаю так и не уверен что это хороший solution:
AC
df.write
.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.option("topic", "topic1")
.save()
AK
Hi All
I want to be Data Engineer
Can you guys guide me
What should i do?
I want to be Data Engineer
Can you guys guide me
What should i do?