АШ
сейчас протестирую миграцию со структурой Map<String, List<String>>
Size: a a a
2020 June 18
АШ
требования то какие
смигрировать все данные за месяц, а данных может быть ОЧЕНЬ много
A
по времени требования какие
АШ
по времени требования какие
может хоть и неделю мигрироваться месячные данные
DP
Александр Шинкевич
смигрировать все данные за месяц, а данных может быть ОЧЕНЬ много
а точно надо использовать inmemory структуры данных, а не тулы для обработки данных?
АШ
а точно надо использовать inmemory структуры данных, а не тулы для обработки данных?
я использую MVStore от H2, чтобы группировать и сохранять данные
N
Александр Шинкевич
потребление памяти было примерно одинаковым
max memory 7752640; free memory (173018) KB, (70565 KB used)
правда файл выходной получился в 37 гигов
max memory 7752640; free memory (173018) KB, (70565 KB used)
правда файл выходной получился в 37 гигов
как видите что я выше и говорил на миллионе чисел разница будет незначительная, так что посмотрите что вам удобнее в части обхода такой мапы
АШ
map.put занимает достаточно времени, я замеры делал
AG
Кстати, вот такую штуку не смотрели? https://github.com/npgall/cqengine
AG
Кстати, вот такую штуку не смотрели? https://github.com/npgall/cqengine
АШ
Кстати, вот такую штуку не смотрели? https://github.com/npgall/cqengine
Нет, не смотрел, спасибо, гляну
IO
@alexshinkevich а вы откуда куда данные гоняете?