GP
из общения с другими инженерами. Они говорят что CPU больше не проблема потому что есть инстансы с GPU. И вот тут можно упереться в диски
а разве инженеры не хранят дату часто на всяких s3?
Size: a a a
2021 March 10
GP
ну в этом плане тогда действительно ио медленное мож быть
UD
Дальше когда начинаются заигрывания с ALS и картами утыкаешься по IO
TT
Попробуйте матрицы из этого алгоритма хранить в своем сторадже
DY
Tsh Tsh
Очень распространенный и довольно "старый" алгоритм
Реализован в спарке и многих других либах / фреймворках
Реализован в спарке и многих других либах / фреймворках
спарк это просто исполнитель заданного кода, мне бы поконкретнее
TT
спарк это просто исполнитель заданного кода, мне бы поконкретнее
Я не про Спарк, я про матрицы из этого алгоритма
DY
а разве инженеры не хранят дату часто на всяких s3?
ну это вообще не фактор в моем случае. Там где хватает S3 - мне ловить нечего :)
DY
Tsh Tsh
Я не про Спарк, я про матрицы из этого алгоритма
имеется ввиду ALS?
TT
Берете любую опенс сорс либу с этим алгоритмом
И пишете / читаете в свой сторадж
Да я про ALS
И пишете / читаете в свой сторадж
Да я про ALS
DY
Дальше когда начинаются заигрывания с ALS и картами утыкаешься по IO
estx konkretnyj `z kejs kotoryj q smogu prosimulirowatx?
TT
Просто чтобы дать нагрузку
GP
крутой костыль
DY
ага, спасибо. буду ковырять. Вообще, если быстрый распределенный сторедж (который не сеф) под кубер интересует, буду рад пообщаться, не в плане продать а скорее изучить нужду и попробовать поднять имплементацию
UD
estx konkretnyj `z kejs kotoryj q smogu prosimulirowatx?
Ченить такое потыкать https://github.com/benfred/implicit
UD
+публичный датасет
DY
мерси :)
UD
либо забить болт и сразу взять rapids