JS
от задачи зависит
Size: a a a
2017 June 13
AM
Ну сейчас данные явно не приходят пачкой, а потоково =)
JS
раз потоково - вполне можно in-memory, и сбрасывать в другое хранилище по какому-то эмпирически подобранному правилу...
NK
Ну сейчас данные явно не приходят пачкой, а потоково =)
а поток на чём строится?
AM
Возможно, я не понимаю, вопроса =) В данном случае я имею в виду не передачу потоковых данных(видео, звука), а поток, что данные приходят небольшими кусками, по мере того, как парсеры успевают собирать статистику по площадкам и куда-нибудь ее запихнуть(они парсят постоянно). У меня пока нет никакой пока нормальной инфраструктуры(хочу ее собственно в эту сторону думать, иначе не справлюсь)
JS
надо заложить масштабирование... kafka или rabbitmq в помощь, как первый приемник, и далее уже куда-то еще
AM
А что случится, если я переполню kaffkу?
AM
Данные будут поступать быстрее, чем их будут разгребать
NK
А что случится, если я переполню kaffkу?
не переполнишь
NK
у нее всё конфигурируется, сколько сообщений хранить, сколько дней, какой максимальный объекм
NK
она активно персистит данные на диск
AM
Понятно, пойду тогда изучать. Спасибо
NK
You are welcome !
t
Раз уж разговор про очереди зашел
AM
Начну с каффки, а дальше подумаю, что еще можно сделать
t
какую очередь лучше под 1.6.3 использовать, если требования - это в первую очередь стабильность работы
t
под спарк 1.6.3
t
RabbitMQ емнип под 2.0+
GP
Данные будут поступать быстрее, чем их будут разгребать
у меня была такая иниенсивнсть что реплика за основной не успевала никогда; подумай много раз перед тем как использовать монгу в проде
NK
у меня была такая иниенсивнсть что реплика за основной не успевала никогда; подумай много раз перед тем как использовать монгу в проде
