AK
Предполагалось что они не будут общаться между собой на прямую. Один будет писать в хранилища, а другой будет следить за хранилием и считывать оттуда новые записи
это я понял. данные то в каком формате?
Size: a a a
2020 June 19
ЛА
Только зачем редис, на го есть как много готовых key-value на нем (см awesome go), так и написать можно. Я постоянно юзаю инмемори кеши на го, но не то чтобы оно хранило гигабайты данных
AK
если это просто строки, то key-value не нужен, нужна очередь
VM
Там вообще без кешей одних каналов с буферами хватит)
ОЭ
Не пойму зачем база для такой простой задачи
Сделал себе очередь на каналах да разбирай
Сделал себе очередь на каналах да разбирай
Нельзя терять данные, по этому хочу куда-то их писать, что бы падение программы ни на что сильно не влияло
i
редис
VM
Нельзя терять данные, по этому хочу куда-то их писать, что бы падение программы ни на что сильно не влияло
Вы итак потеряете данные, если отвалится проект, который будет их писать
VM
А так, дамп на диск при падении и чтение на подъеме 👏🏽
VM
(Редис так и делает)
ОЭ
это я понял. данные то в каком формате?
Сейчас я вижу это как строку с двумя полями, в одном поле текст, которые надо проанализировать, во втором поле статус работы с этой строкой(еще не в работе, в работе, обработано)
AK
Сейчас я вижу это как строку с двумя полями, в одном поле текст, которые надо проанализировать, во втором поле статус работы с этой строкой(еще не в работе, в работе, обработано)
очередь нужна тогда
AK
но вы упорно не хотите сторонний сервис - а поэтому пишите в файлы
ЛА
редис
Ещё очень быстры встраиваемые бд, например, badger. У них нет сервера, и клиент по сути организован прямо в вашем приложении.
Оно имеет транзакции, пишет на диск всегда.
Работает на 2 порядка быстрее редиса как раз из-за отсутствия клиента-серверной прослойки.
Оно имеет транзакции, пишет на диск всегда.
Работает на 2 порядка быстрее редиса как раз из-за отсутствия клиента-серверной прослойки.
ЛА
Если что-то успело записаться на диск - оно не потеряется.
i
"пишет на диск всегда.
Работает на 2 порядка быстрее редиса" :)
Работает на 2 порядка быстрее редиса" :)
ОЭ
Вы итак потеряете данные, если отвалится проект, который будет их писать
Это если падает программа, которая их пишет. А если упала программа, которая их анализирует? То в этом случае данные должны продолжить писаться, и после восстановления программы, которая анализирует, она возьмёт все то, что записалась пока она была отключена
i
с задачей 800 строк в секунду справится и mysql
ОЭ
с задачей 800 строк в секунду справится и mysql
Mysql это серверная вещь, а я ищу локальное хранилище что бы уменьшить задержки
ЛА
"пишет на диск всегда.
Работает на 2 порядка быстрее редиса" :)
Работает на 2 порядка быстрее редиса" :)
"из-за отсутствия клиента-серверной прослойки"
ОЭ
Спасибо всем за помощь, я понял что мне необходимо. Попробую посмотреть встраиваемые БД, badger выглядит тем, что надо. Либо буду писать в файлы