Size: a a a

2020 December 28

AS

Andrey Smirnov in Data Engineers
Tsh Tsh
Аэроспайк очень хорош, но дороговат
а не сравнивали цену с enterprise redis?
Недавно узнал что редис в этой редакции тоже научился работать с диском.
источник

AZ

Anton Zadorozhniy in Data Engineers
Ivan Kizimenko
Спасибо, пошел гуглить
Вообще нужно больше деталей: требования по нагрузке, задержке, географии, какие фичи нужны; я видел варианты от CockroachDB до Elasticsearch, все зависит от вашего конкретного кейса
источник

IK

Ivan Kizimenko in Data Engineers
Anton Zadorozhniy
Вообще нужно больше деталей: требования по нагрузке, задержке, географии, какие фичи нужны; я видел варианты от CockroachDB до Elasticsearch, все зависит от вашего конкретного кейса
Согласен, но проект идет в качестве эксперимента, поэтому не до конца есть понимание во что в конечном итоге это превратится. Больше как mvp чтобы понять что в итоге нам надо
источник

AZ

Anton Zadorozhniy in Data Engineers
Ivan Kizimenko
Согласен, но проект идет в качестве эксперимента, поэтому не до конца есть понимание во что в конечном итоге это превратится. Больше как mvp чтобы понять что в итоге нам надо
Тогда лучше взять то что умеет ваша команда (с доступом по ключу, не КХ), PG или Redis, и попробовать прощупать требования
источник

TT

Tsh Tsh in Data Engineers
Andrey Smirnov
а не сравнивали цену с enterprise redis?
Недавно узнал что редис в этой редакции тоже научился работать с диском.
Нет, ибо с redis (если в этом есть необходимость) раз в час - полчаса или по мере протухания сессии можно сохранять данные в реляционную бд или монгу.
источник

AS

Andrey Smirnov in Data Engineers
Tsh Tsh
Нет, ибо с redis (если в этом есть необходимость) раз в час - полчаса или по мере протухания сессии можно сохранять данные в реляционную бд или монгу.
профили это побольше чем просто текущая сессия
источник

TT

Tsh Tsh in Data Engineers
Andrey Smirnov
профили это побольше чем просто текущая сессия
Что за профили ? Какой размер 1 профиля?
источник

AS

Andrey Smirnov in Data Engineers
зависит от человека и например какие сайты  и сколько он посещает :)
источник

TT

Tsh Tsh in Data Engineers
Значит, вы пытаетесь решить несколько задач одновременно, надеясь, что бд / хранилище само за вас все вырулит.
источник

AS

Andrey Smirnov in Data Engineers
на самом деле хранить профили просто, вот как хранить сегменты (например посетителей women.ru и пересекать их с 7ya.ru это уже другой, сложны вопрос
источник

SS

Sergey Shushkov in Data Engineers
Andrey Smirnov
не надо скалы с коурсеры, там Одерски мучает писателей на спарке монадами
И что не так с монадами? )
Конечно от подхода зависит, но у нас, допустим,  все это используется. Хоть и писатели на спарке, а не суровые бакендеры )
источник

AS

Andrey Smirnov in Data Engineers
Sergey Shushkov
И что не так с монадами? )
Конечно от подхода зависит, но у нас, допустим,  все это используется. Хоть и писатели на спарке, а не суровые бакендеры )
а можно какие-нибудь примеры как вы их используете (с Try и Option понятно, вот похардкорнее).
источник

SS

Sergey Shushkov in Data Engineers
Ну начиная с простых тайпклассов и различных ио обердок, до обертки отдельных трансформаций аггрегаций в обособленные стримы из фс2 с определеным контекстом для разных окружений
источник

SS

Sergey Shushkov in Data Engineers
Если в общем, то обычный функциональный код. Но иногда у людей которые пишут на скале как бетер джава начинается колапс когда видят впервый раз.

Потому я бы не рекомендовал пропускать одерски )
источник

SS

Sergey Shushkov in Data Engineers
А еще бы и котов, как минимум,  в обязаловку накидывал для изучения.
источник

AS

Andrey Smirnov in Data Engineers
вот как раз я про это и говорю, зачем вот это все, я за последние 4 года поработал в 3-х разных кампаниях, еще в паре получал офер|проходил тех.собеседования, и нигде не используются в спарке ваши коты, не надо новичкам голову этим забивать, им еще много чего другого надо изучить
источник

P

Pavel in Data Engineers
Tsh Tsh
Redis, vertica
Vertica? Для kv?
источник

SS

Sergey Shushkov in Data Engineers
Ну печально что ниразу не было. Но есть места где есть и потом такие спаркописатили, которые изучали другое, попадают впросак.
источник

AS

Andrey Smirnov in Data Engineers
можно подумать что писатели на котах не попадают в просак :)
источник

SS

Sergey Shushkov in Data Engineers
Все попадают )
Я к тому, что здесь даже общеплатформенные фреймворки написаны в функциональном стиле. И при необходимости такой новичок впринцепи не поймет что откуда берется.
источник