ὦ
Жесть
Size: a a a
2017 May 30
ὦ
А то я хотел посмотреть какие фильмы из данных можно протестирлвать
ὦ
А он рандомном грузит
AM
На самом деле можешь разрезать его не рандомно, там тоже есть функции
PK
Не забывайте только, что некоторые датасеты чувствительны к перемешиванию
AM
@Yan ты можешь например применить фильтр к датасетам, отфильтровать по предикату, если тебе нужны конкретные фильмы в сете
AM
Можно сделать так - фильтруешь датасет с фильмами. Потом берешь все фильмы из получившегося датасета и фильтруешь рейтинги
AM
Как-то так
AM
Ну и понятное, обрезал данные и коллаборативная фильтрация будет работать не так, как на полных данных =)
ὦ
такое ощущение что обрезанные данные все сломали
ὦ
yan@yan-desktop:~/Downloads/spark-movie-lens-master$ curl http://0.0.0.0:5432/15/ratings/top/12
возвращает пустоту
ὦ
@main.route("/<int:user_id>/ratings/top/<int:count>", methods=["GET"])
def top_ratings(user_id, count):
logger.debug("User %s TOP ratings requested", user_id)
top_ratings = recommendation_engine.get_top_ratings(user_id,count)
return json.dumps(top_ratings)Хотя должен
PK
Ну вообще не должен. По уму нужно сэмплировать независимо по каждому пользователю, чтоб сохранить распределения рейтингов
PK
А тут могло выйти, что у этого пользователя рейтингов совсем не было
PK
Если я правильно предполагаю, что эта реализация просто считает близости, а не факторизует матрицу
ὦ
или это я неправильно тыкаю курлом
2017 June 01
AM
Спасибо, конечно, но в лучшем канале не может быть одновременно и марвел и дс
NK
спасибо
NK
а вы что используете для работы с hbase из сапарка , newAPIHadoopRDD ?