SP
Потыркал пару готовых k/v и начал в них заливать
какой тип данных и сколько? как сэмулировать?
Size: a a a
2020 May 10
PK
какой тип данных и сколько? как сэмулировать?
https://youtu.be/zwzaS8OWapY я тут самый первый. Устал, доклад делал в упор. Но описываю что как
PK
какой тип данных и сколько? как сэмулировать?
P.S. Это было бессмысленно. Это по факту действительно не надо. Я хотел память поэкономить за счет диска, но по факту это не надо
SP
да я всё пытаюсь выяснить, что нужно сделать с “обычной k->v” чтобы миллион записей был проблемой
PK
Ну вот
SP
каких записей-то :(
SP
я просто щас НА ПИТОНЕ вставляю в редис 5000 строк в секунду
PK
а есть код работы с bbolt'ом?
Нет скорее всего. Я там в какой-то момент пароль в github вогнал и порезал ревизии
PK
а есть код работы с bbolt'ом?
Ты намекаешь на то, открывал я на каждую сроку транзакцию или одну на всё? Вроде и так, и так попробовал
VS
Ты намекаешь на то, открывал я на каждую сроку транзакцию или одну на всё? Вроде и так, и так попробовал
я не намекаю ни на что, мне просто интересно было бы посмотреть на код, вдруг будет понятно почему так медленно
VS
но если кода нет, то и ладно
PK
Случайно, но нет. Самому уже интересно стало. Я хочу намекнуть, что я хотел это вогнать в гиговую VDS
SP
6 мегабайт на элемент в XML - потенциально больно, но это вполне решается SAX-парсером
SP
ага, учитывая, что мы лезем внутрь - это малобольно
PK
Ну там вообще я про парсер много
A
я не вижу проблем и согласен с сергеем что даже с учетом бэкапа и прочего это пишется за рабочий день программистом средней руки
"любой второкурсник справится" :)
SP
не очень понятно, почему время разбора так важно, если ты говоришь про узкое место в базе.
в принципе у тебя разбор идёт параллельно с вставкой.
в принципе у тебя разбор идёт параллельно с вставкой.