AB
создать дохрена большое сообщение и отправить. такой себе кейс. на уровне видео выше, про анализ голанга. где мы сделали цикл непрерываемый и удивляемся, что он не прерывается.
Size: a a a
2019 December 18
AB
full_sweep_after крутил. ставил эксперименты, было дело. если чистить кучу часто, то замедлится этот самый процесс. ведь ты чаще собираешь мусор. на сколько я могу предположить, в ерланг настроено так, что лучше потерять побольше памяти, чем потерять скорость.
VS
а по поводу пересылки больших сообщений - я тоже не знаю, что тут сказать. у меня таких проблем не было. тут надо как-то очень специально не верно проектировать архитектуру приложения
до OTP 22 приходилось кастомный протокол через сокет делать
отдельно или partisan использовать.
Теперь ситуация должна улучшиться, но я еще не тестировал, не было пока
приложений с большими сообщениями
отдельно или partisan использовать.
Теперь ситуация должна улучшиться, но я еще не тестировал, не было пока
приложений с большими сообщениями
Е
а по поводу пересылки больших сообщений - я тоже не знаю, что тут сказать. у меня таких проблем не было. тут надо как-то очень специально не верно проектировать архитектуру приложения
ну пришел тебе жсон на мегабайт, ты его распарсил в мапу и передал дальше, вот и получается большое сообщение.
Е
таки приходится иногда чесать репу чтобы избежать передачи больших сообщений.
AB
ну пришел тебе жсон на мегабайт, ты его распарсил в мапу и передал дальше, вот и получается большое сообщение.
если json большой, то это, как правило, список. и его вполне можно разбирать «лениво» через stream. я решал на хайлоад капе эту проблему как раз. даже если файл не разбит по строкам, то можно его кусками читать через File.stream и кусками же парсить. есть либа Jaxon у нее есть возможность работать через stream. и там как раз всплесков по потреблению памяти уже избегаешь благодаря этому
AB
можно как stream, а можно stream+flow
Е
если json большой, то это, как правило, список. и его вполне можно разбирать «лениво» через stream. я решал на хайлоад капе эту проблему как раз. даже если файл не разбит по строкам, то можно его кусками читать через File.stream и кусками же парсить. есть либа Jaxon у нее есть возможность работать через stream. и там как раз всплесков по потреблению памяти уже избегаешь благодаря этому
я и говорю, что приходится иногда думать об этом.
AP
А есть языки где бы не пришлось думать об этом?
AP
Идеально бы было бы если бы вообще ни о чем думать не надо, а язык всё сам делает
Е
А есть языки где бы не пришлось думать об этом?
да, распарсил во внутреннюю структуру и передал указатель в другой поток, хоть гигабайт данных
AP
Обмазался критическим секциями...
Е
Обмазался критическим секциями...
зачем, если данные иммутабельны?
AP
Ага, а если я хочу их менять?
Е
Ага, а если я хочу их менять?
если хочешь, тогда либо копируй либо обмазывайся. :) но зачем мне менять распарсенный жсон? 😁
Е
ну и ты, надеюсь понимаешь, что в BEAM тоже все обмазано, просто это сделал кто-то другой, вместо тебя :)
AP
Ну т.е. не всё так просто, да
AP
В бим я могу положить в ets и или даже в persistent term storage. И тоже избегать копирований
Е
В бим я могу положить в ets и или даже в persistent term storage. И тоже избегать копирований
ets один хрен данные копируются, persistent term storage вроде недавно появился и это круто.
AP
Erlang -- Constructing and Matching Binaries
http://erlang.org/doc/efficiency_guide/binaryhandling.html
http://erlang.org/doc/efficiency_guide/binaryhandling.html