а чтение вторичного и так приводит к чтению по первичному

делать это не раз в милисиекнду а раз в сутки ночью

Хм. Делать реже большими проходами?

10мс это я для теста ставил. Стояла секунда какое то время

Сразу скажу что с Винил не имел дело, интересуюсь ради знания...У вас место мало или у винила производительность падает? Зачем вы так часто удаляете?

Привет! А может кто-то подсказать пример проекта, на гитхабе например, реализующего простой апи доступа к данным в тарантуле? Чтобы понять, как это принято делать по-красоте в целом)

Не, ну в конце концов он же взял 2 хэшфункции: быструю и для fallback-а.

Кстати, теперь получается одна и та же строка на разных запусках будет иметь разные хэшсуммы. Благо он чуть ранее избавился от захардкоженных чиселок в lj_cparse.c.

AFAIU, замена на id использована ровно потому, что сейчас 2 функции и результат любой из них может быть представлена в s->hash. В результате ты не можешь по хеш-сумме сравнивать две строки без упражнений с s->hashalg и возможным вычислением суммы при различии этого поля у сравниваемых строк. В id, кстати, не всегда лежит порядковый номер (например, в случае LUAJIT_SECURITY_STRID = 3 там и вовсе будет псевдослучайная величина), но похоже и правда эти значения дают меньше коллизий.

Удалять можно и реже, наверное. Тут вопрос скорее в том, чтобы в среднем удалеть не меньше, чем вставляем. То есть. если вставка идет например 1000 таплов в секунду, то при удалении раз в сутки - это мне надо быстро удалить ~90 млн таплов. Если такое будет норм работать, то это бы устроило тоже

Хотя есть кейсы, когда мне не надо держать запись так долго - сутки, она мне нужна несколько минут. И тогда она лишнее место будет занимать тоже

а сколько вам реально надо удалений в сутки делать?

реально на 1 инстанс тарантула приходится по 1000 вставок в секунду. TTL у записей от минуты до пары суток

Ну то есть в итоге все равно, около 1000 в секунду

У меня был кейс с удалением из винила, пришёл к выводу что лучше делать это мелкими пачками и по отдельным шардам, а не по порядку ключей

(да, это был vshard  поверх винила)

Что значит по отдельным шардам?

Удаление запускалось раз в час и чистило порядка сотен записей

Если используется шардинг, то данные раскладываются по инстансам Тарантула в соответствии с ключом шардирования. Если ключ например зависит от числового ID клиента, то на первый инстанс попадут записи с ID = 1 и ID = 3,  на второй —  ID = 2, ID = 4  и т д

ID взяты для примера