Может проблема что dirty schedulers появились слишком поздно

Но тот же hdfs выглядит на эрланге настолько естественно насколько только можно

Понятно что ml будет не на эрланге, но для этого сищечку то завезли пораньше всяких жаб

Сишечка к ml имеет такое же отношение, как и к кодированию видео

ets - футпринт большой на создание, он не слишком low-level - если хранить в ets просто массив, как в любом другом языке - будет очень большой overhead, да и ещё данные внутрь в ets и изнутри будут копироваться при каждом действии. Т.е. ты не можешь менять данные, не копируя данные из ets и обратно. Есть предрассудки (частично оправданные из-за footprint-а и в прошлом лимита на количество ets), что ты не можешь в каждом процессе иметь по одной или несколько ets. Это очень не оптимальный вариант.

Мне казалось что весь ml в этом мире на c - может я ошибаюсь конечно. Или я не понял сравнения с кодированием видео

как говорит моё начальство: питон - это же машинное обучение

на эрланге естественно выглядит чтото делать во много потоков одновременно при этом с оговорками и доделками, все остальное для фана

Ну вот map это много потоков. А reduce уже как придётся. Вроде как под ETL подходит по описанию

Отсюда и вопрос

Есть же на эликсире всякие там flow и Broadway

Whatsup большие, но закрытые. У них кластеры по тыще нод как-то работают. Но кроме них никто так не умеет)

map-reduce это какой-то конкретный структурный паттерн. для erlang - много процессов совершают прогресс одновременно, пусть и с относительно невысокой скоростью.типа мягкое реальное время

Они обещали то, что они вместо mnesia у себя используют заоупенсорсить, 2 года прошло, так ничего и нет.

просто не умел никто на эрланге писать. Все эти разговоры что 3 месяца изучения и можно писать, это не совсем правда. Средний ява профессионал не будет переучиваться, зачем ему это, тоже самое с++. А ломанулись туда все кто или вообще других языков не знал либо у кого не очень получалось. И обломались, потому что дело даже не в языке а сама ниша сложная. Чтобы писать что то дельное надо 10+ лет опыта. Вот и результат, поразочаровывался бизнес, хайп прошел, все ломанулись на go

почти весь  _рабочий_ ml  на куде. К С это имеет мало отношения

до продажи в фейсбук справлялись командой в 30 инженеров и одной стойкой серверов. Теперь какие-то тысячи, а ничего нового не появилось

Дык это они себя продавали. Ну и продали, так что это им больше не нужно)

Может просто иерахический шардинг и поверх него роутинг. выглядит как "можно реализовать за 3-5 человеколет"

Бартцы, подскажите пожалуйста, где еще, кроме как в эрланг, можно создавать организационные структуры на основе стандартных унифицированных компонет?
Эрланг это ведь про организацию и управление, разве нет?