Такой регистратор получается однопоточный, поэтому подходит для относительно небольшого трафика старта потоков

во, благодарю,
хотел попробовать simple_one_for_one, но не разобрался как pid получить
теперь понятно

Мы в нем на днях один баг нашли :)

Первый за несколько лет

Почему весь hadoop написан на жабе а не эрланге? Есть какие то причины, или взяли что под руку попалось? Может кто знает

если не надо знать конкретные имена есть simple_one_for_one supervisor

Как будто эрланг как-то особо хорошо подходит для высокопроизводительных распределённых вычислений.

Стандартным протоколом дистрибуции пользоваться нельзя, механизмы распределённого консенсуса в стандартных библиотеках нет (да и вообще долгое время нигде не было, когда даже на джаве и плюсах уже всё давно было, рафты там всякие и забы).

Ошибки можно игнорировать только до поры до времени, потом надо самостоятельно докручивать backpressure и отлаживать, что же конкретно происходит с системой. Положить систему при желании несложно, достаточно несколько раз за короткий промежуток времени уронить супервайзер.

Я эту тему поднимал раза 2-3 в этом чате и мне говорили - “нету, потому что никому не нужно” в Erlang-е.

Эрланг проиграл в распределённых системах по той же причине, по которой лисп проиграл в скриптах и общих вычислениях: на эрланге настолько просто написать простую распределённую систему, что все только это и делают, на коленке, через плечо. А в других это настолько сложно, что куча умных чуваков вложились в небольшое количество качественных имплементаций с кучей реальных ништяков.

Поэтому на лиспе пишешь той-проект, и дальше это не растёт, там слишком много самому писать, даже если это просто делается. На эрланге три флагмана — все через ж и нужнл обращаться чрезвычайно аккуратно, чтобы не развалилось: rabbitmq, riak, ejabberd.

ребит и мнезния написаны на  erlang и в этом нет ничего хорошего.

В целом работают нормально и создают впечатление рабочих, но это пока до корнер-кейсов или большой нагрузки не дошли.

так исторически сложилось. Каттинг был из яхуу и писал всегда на джаве

Интересная мысль

А потом оказывается, что перевозить слонов моторными лодками - так себе идея, да? )

не он, так кто-то другой. вся распределенная инфраструктура в мире написана на чем угодно, кроме эрланга. на гошке (etcd), на джаве (zk), etc. Персоналии не так важны.

Я бы добавил ещё одну из причин: это иммутабельность данных, нет встроенного в язык никакого low level способа работать с изменяемой памятью, которая является серьёзным препятствием написания действительно быстрых алгоритмов…Везде, где во что-то упираешься - сразу C-код и потеря всех beam-преимуществ - ring в riak-е C-код, писать на диск в Riak-е тоже C-код и так во всех флагманах было, есть и будет. На мой субъективный взгляд.

ets же, нет?

Протоколами дистрибуции нельзя - почему? Неужели кто-то запускает кластер Hadoop не в одном датацентре? Или больше чем на десятках машин?

Консенсус вообще в Hadoop не понятно зачем - может я что не знаю