K
600 мег это сам JSON, в памяти около 7 гигов
Ну и смотри , по идее у тебя будет на каждую партию парсинг происходить
я даже задумался “а как у тебя бродкастится этот объект”
оно же в лимиты не влезет или ты их отключил?
Size: a a a
2021 January 22
A
AE
собсно уже бродкаст с объектом на 7 гиг ставит кластер раком
AE
лимиты выключены, ага
AE
крио его пакует конечно, но...
K
Ну смотри , ты броадккстишь жсон, память скушалась , потом парсишь этот жсоон и длЯ результирующего объекта тоже скушалась
K
Можно распарить на драйвере результат , и броадкастить только его
AE
вопрос больше "а чё умные дяди делают в таких случаях"
GP
а ни у кого часом не возникало необходимости бродкастнуть пачку geojson мегов этак на 600 на каждый екзекутор? смотрю что щас по логам что крио делает, и какое время уходит на GC, и как-то нехорошо становится
броадкаст такой плохо
а чо с фигурами делаешь?
а чо с фигурами делаешь?
GP
дейстительно много мелких объектов в памяти по памяти жоско бьет
AE
это дорожная сеть города москвы
GP
можешь гц другой выбрать и над прещщей гца эксперментировать
GP
но в целом упрощай фигуры
AE
заказчик хочет получить автомобилистов
AE
с точностью до 1 метра
K
вопрос больше "а чё умные дяди делают в таких случаях"
Кассандру для Кей велью сбоку прикрепи
GP
Кассандру для Кей велью сбоку прикрепи
не в этом дело тут
K
Или сторонний сервис
GP
какая разница как грузить жейсон в память
K
не в этом дело тут
Ну тебе нужна память на сам джесон и на результат его парсинга