АА
так его надо скопировать на все ноды @scooby18
сейчас сделаем
Size: a a a
2020 October 29
AZ
кстати я тут еще не спрашивал: а кто что-то использует для k8s на эджах? microk8s, k3s, vanilla?
AZ
сейчас сделаем
все что находится в HADOOP_CONF должно быть одинаковым на всех нодах
АА
сейчас сделаем
сделал, такая же ошибка
АА
вот конфиг на обеих нодах
АА
это когда я юпитерхаб запускаю от рута
AZ
почему от рута?
AZ
и сделали рестарт всех сервисов после?
АА
@dartov вот такая сейчас ошибка, в core-site.xml я добавил следующие:
и сделал hdfs dfsadmin -refreshNodes
<property>
<name>hadoop.proxyuser.jupyterhub.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.jupyterhub.groups</name>
<value>*</value>
</property>
и сделал hdfs dfsadmin -refreshNodes
ну когда от jupyterhub запускаю, вот это ошибка
AZ
просто рут в хадуп сервисах не имеет каких-то особенных привилегий
SS
господа инженеры! как вы миритесь с петониздами-сотониздами?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
ME
господа инженеры! как вы миритесь с петониздами-сотониздами?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
А пайспарк как же?)
AS
господа инженеры! как вы миритесь с петониздами-сотониздами?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
у нас да, Apache Arrow (да и как тут перепишешь все эти pytorch и т.д.)
AE
господа инженеры! как вы миритесь с петониздами-сотониздами?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
пусть пишут свою математику на петоне, а вы потом при продукционализации пайплайна переписываете на scala/java?
или все вот эти Apache Arrow?
а я вот переписываю. но у нас её во-первых немного, а во-вторых оно сильно CPU-bound и скорость расчёта самый бизнес-критичный параметр.
AS
а я вот переписываю. но у нас её во-первых немного, а во-вторых оно сильно CPU-bound и скорость расчёта самый бизнес-критичный параметр.
у вас видимо нет нейронок?
AE
слава яйцам, и не предвидится
AE
а вообще, уже выдумали нейронки, которые можно повторить и доказать?
AS
а вообще, уже выдумали нейронки, которые можно повторить и доказать?
что значит повторить и доказать?
AZ
а вообще, уже выдумали нейронки, которые можно повторить и доказать?
в смысле explainable?
AA
может все проще и речь про фиксацию сида?:)