AS
сейчас толсятки из гигантов поправят код щорса и будет 128 байт на всю работу
Size: a a a
2020 May 10
SP
Ну там вообще я про парсер много
AS
на 0.02m cpu
SP
скажи, а что аудитория в этот момент сказала? :)
SP
не очень понятно, зачем ты парсил IP-адрес, если база это будет делать потом повторно. или не будет?
SP
xxhash еще получше будет
PK
не очень понятно, почему время разбора так важно, если ты говоришь про узкое место в базе.
в принципе у тебя разбор идёт параллельно с вставкой.
в принципе у тебя разбор идёт параллельно с вставкой.
Время разбора важно, чтобы очередь не копилась. Я просто взял минимальные промежутки между порциями данных. Ну и конечно психологическое число
SP
а зачем ты обратно в XML преобразовывал???
PK
скажи, а что аудитория в этот момент сказала? :)
Что не так?
SP
Время разбора важно, чтобы очередь не копилась. Я просто взял минимальные промежутки между порциями данных. Ну и конечно психологическое число
кажется, что тебе можно вставлять в базу прямо в процессе парсинга. непонятно, зачем ты консолидируешь всё в раме.
SP
Что не так?
то что волатильная мапа без указателей становится очень тяжёлой. ты ж сам об этом говоришь в следующем слайде.
просто от кода, где мапка на структуру без указателя мне сразу стало больно. и в следующем слайде ты сказал о боли. я подозреваю, что аудитория испытала похожие эмоции.
просто от кода, где мапка на структуру без указателя мне сразу стало больно. и в следующем слайде ты сказал о боли. я подозреваю, что аудитория испытала похожие эмоции.
PK
а зачем ты обратно в XML преобразовывал???
Посчитать хэш всего <content >...</content> включая возможно изменившиеся аттрибуты. Я до сих пор помню - переписал эту часть в Сапсане после Хайлоада, и полвагона пялилось на наклейки Go и повербанк с лого Хайлода. Это отвлекало
SP
сейчас толсятки из гигантов поправят код щорса и будет 128 байт на всю работу
настолько нельзя
PK
кажется, что тебе можно вставлять в базу прямо в процессе парсинга. непонятно, зачем ты консолидируешь всё в раме.
Мы где-то разошись в синхронизации показаний. Я отказался в итоге от пихания в базу. Или я не понимаю вопроса
SP
Мы где-то разошись в синхронизации показаний. Я отказался в итоге от пихания в базу. Или я не понимаю вопроса
мне казалось что здесь ты читал XML и пихал в k->v базу, не?
SP
SP
блин, я однажды пошутил про то что кто-то будет пихать JSON или XML прямо сырыми в типизированные форматы типа Protobuf
SP
сколько я потом видел это в реальной жизни...
PK
то что волатильная мапа без указателей становится очень тяжёлой. ты ж сам об этом говоришь в следующем слайде.
просто от кода, где мапка на структуру без указателя мне сразу стало больно. и в следующем слайде ты сказал о боли. я подозреваю, что аудитория испытала похожие эмоции.
просто от кода, где мапка на структуру без указателя мне сразу стало больно. и в следующем слайде ты сказал о боли. я подозреваю, что аудитория испытала похожие эмоции.
Да понимаешь... Аудитория похоже вообще была не готова к такому разбору. Кстати, а поясни мне этот момент. Я не уверен, что я до конца понял что случилось. Это прямо вообще очень яркая произошедшая хрень
SP
Да понимаешь... Аудитория похоже вообще была не готова к такому разбору. Кстати, а поясни мне этот момент. Я не уверен, что я до конца понял что случилось. Это прямо вообще очень яркая произошедшая хрень
если мапка хранит элементы прямо в себе, то в момент роста она должна переместить гораздо больше данных в оперативе