AM
Монга была выбрана для прототипа, т.к. я ее лучше знаю.
Size: a a a
2017 June 13
GP
У меня сейчас есть проблема в записи в монгу большого набора данных. Упираюсь сильно, спасет ли меня выкидывание монги и запись тупо в hdfs данных
она не решабельная; можешь попробовать тайгер (если не пробовал) но он создает иллюзию решения
AM
С кассандрой работал меньше, да и то, на одном проекте она была в виде кеш хранилища.
GP
какой продакшн размер средний банки будет?
AM
Средняя банка это что? Поясните, если можно =)
AM
Типа характеристики ноды ?
AM
Сейчас у меня под прототип 200 тб хранилище, одна тачка
AM
В случае расширения - их закупят.
GP
размер БД да)
GP
мне кажется монга тут не вариант)
AM
200 тб по идее. Но никто не посчитал ничего, заставили быстро писать прототип
NK
В разрезе чего тебе парсинг нужно делать. Если есть какая-то потоковость данных простым решением будет использовать спарк джобу которая агрегирует какой-то поток из MQ ( сам кладешь в кафку ) , делает первичную обработку, и сохранет в протобаф партицированный в нужном расширении.
NK
Далее уже другая джоба ходит по партицированным табличкам и делает всё, что тебе нужно
NK
Это если предполгается какой-то etl по этим данным сложный относительно
NK
Ну и всё не сильно онлайново
JS
для записи, если исп. агрегация - можно redis-какой нибудь, если надо очень быстро записать, и периодически - сбрасывать в другое хранилище
NK
Ну тут размер пачки не определен, поэтому ин мемори , как мне кажется не подходит
NK
придёт не 20 гигов , а 100 и всё умрет
JS
ну вдруг кластер есть )
JS
ну или таки агрегировать сразу в redis