SR
это в фб наверное
Size: a a a
2020 September 05
SR
в вк вроде пока одна
ДУ
В контакте две, в фб давно не сидел
N
В контакте две, в фб давно не сидел
а как упорядочиваются сообщения в ленте?
N
Одна для рекомендаций, другая для друзей и подписок
а как они мержатся? по какому принципу. вот в одной 10 сообщений и в другой 11.
Y
Nikolay
она же не налетку генериться? вот так понимаю, что у пользователя есть его друзья. Друзья что-то публикуют. Наверное этим публикациям проставляют рейтинг? как часто рейтинг поста меняется?
Я думаю, зависит от . В Фейсбуке даже видно, как лента наполняется асинхронно: когда давно не заходил, она "пустая" почти, только посты друзей, но начинаешь листать и она опять заново наполняется рекомендациями и прочим. В ВК не могу рассказать подробнее, но насколько я знаю, она генерируется "на лету"
N
Я думаю, зависит от . В Фейсбуке даже видно, как лента наполняется асинхронно: когда давно не заходил, она "пустая" почти, только посты друзей, но начинаешь листать и она опять заново наполняется рекомендациями и прочим. В ВК не могу рассказать подробнее, но насколько я знаю, она генерируется "на лету"
а может она лежит в условном redis, если он там ее не находит, то она строится вот в этот момент и кладется в редис
Y
Nikolay
а может она лежит в условном redis, если он там ее не находит, то она строится вот в этот момент и кладется в редис
Но Фейсбук явно периодически предгенерирует ленту в фоне, если Вы часто заходите, поскольку в ленте посты обычно весьма свежие
N
Но Фейсбук явно периодически предгенерирует ленту в фоне, если Вы часто заходите, поскольку в ленте посты обычно весьма свежие
смотрю сейчас видио старое про твиттер, они говорят, что как только произошел write поста в базу, то идет перегенерация всех лент условных друзей. может и в фэйсбуке так. Например у кого много друзей, то эти друзья постоянно что-то пишут и получается, что у человека постоянно меняется лента
ER
думаю не стоит игнорировать типичные паттерны фидов: "друг" генерит "пост", все его связи(подписчики) через механизм очередей/любую асинхронщину генерят "активности" для пользователей. В результате фид построен в любой момент с максимально простой выборкой
ER
а вот уже in time посты, обновление online - организуются "приоритетом" добавления активностей (пользователь онлайн- получи активность первым), горячий кеш и прочие механизмы оптимизации
N
Evgeniy Romanov
думаю не стоит игнорировать типичные паттерны фидов: "друг" генерит "пост", все его связи(подписчики) через механизм очередей/любую асинхронщину генерят "активности" для пользователей. В результате фид построен в любой момент с максимально простой выборкой
интересно, а сколько железа надо взять для таких очередей, чтобы скажем потянуть нагрузку для Vk или FB? Вот в facebook наверное миллиард пользователей. Для каждого из миллиадра нужно ленту держать в памяти. если это даже простой список из Long(идентификатор поста) и длинна списка скажем 100 постов. Хотя это всего 800 гигабайт
ER
помню ещё в 10ом году на хайлоаде представить фейсбук рассказывал что никаких лент в памяти ) занимались вплоть до оптимизации чтения данных с hdd головкой )
ER
конечно все давно поменялось, но все же
N
10 лет назад у них скорее не было 1 миллиарда пользователей.
ER
ну я и не был серьёзен когда писал пред сообщения )
2020 September 06
PD
Ну, в VK около 10K серверов (может уже и больше), в facebook несколько сотен тысяч. Но это не только лента, конечно )
N
а вот интересно сколько баз MySQL у FB. То, что удалось нагуглить для FB очень старые данные.
Y
Ну, в VK около 10K серверов (может уже и больше), в facebook несколько сотен тысяч. Но это не только лента, конечно )
Для ВК как минимум в 4-5 раз больше :). А у Фейсбука активных пользователей ~1.5 млрд против ~200 млн у ВК (цифры очень примерные, не цитируйте меня :)) так что Фейсбуку, по логике, нужно в ~7-8 раз больше серверов, то есть как минимум 350-400к. Я думаю, что на самом деле у них скорее ближе к 1 млн, хотя это мои домыслы.
PD
Ну, актуальных данных я уже давно не видел, только прикидки...