Size: a a a

Data Science Kazakhstan (DS/ML kz)

2020 April 03

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
в учебно-личных целях
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Alinur Sabit
Уважаемые коллеги (я еще студент)! Мне нужна помощь с Predicting housing market trends желательно на R, но если эффективнее то в Python.
Я пытаюсь построить модель для прогнозирования цен жилища и количества купли-продаж в UK, отдельно в Большом Лондоне. Тривиальное решение уже сделал. Хочу углубиться. Датасет с 1995 по 2020. Думаю нет смысла использовать слишком старые (может с 2016 из-за Брексита?) https://www.gov.uk/guidance/about-the-price-paid-data
Предпочтительно работать с Neural Networks, но снова если есть варианты лучше то почему бы и нет.
*Трудность для меня в том, что надо разделить данные (time series) на окна по месяцам или неделям (как лучше?), тренировать и прогнозировать следующий период, и так двигать окно для улучшения модели. (поискал варианты решения неделю, нашел много чего, но не получается использовать).*
А также в датасете мало детализирующих атрибутов (нет подробных деталей вроде количество комнат, площадь и т.д)
Вопросы еще есть, но этот важный.
Спасибо за внимание.
neural networks оставить для действительно сложных задач типа computer vision, nlp, и тп
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
ну факторов много (типа короновируса и брексита), но их нет в датасетах. а в ручную вводить кажется нереально (не знаю есть ли другие способы)
источник

AF

Artem Fedoskin in Data Science Kazakhstan (DS/ML kz)
нейронками по фоткам оценивай) но опять же, это всего лишь признак, который потом скормишь регрессии или деревьям
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Alinur Sabit
ну факторов много (типа короновируса и брексита), но их нет в датасетах. а в ручную вводить кажется нереально (не знаю есть ли другие способы)
все сейчас на рынке просто сложили свои модельки и сидят, you can’t digitize it measure it, коронавирус и так далее 🤪
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
ну допустим нет никаких особенных обстоятельств, просто в вакууме предсказать цены
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Alinur Sabit
ну допустим нет никаких особенных обстоятельств, просто в вакууме предсказать цены
а ну тогда советую регрессию, потому что важно знать факторы, что влияют на цены 🤪
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
окей, на счет окон есть идеи?
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Alinur Sabit
окей, на счет окон есть идеи?
это вернуло меня на уроки эконометрики 🙂 там нужно поиграться с фичами, либо создать dummies для seasonality, либо time trend variable какой нить задать, lag in time тот же 🤷🏻‍♀️ главное смотреть чтобы правильно создавать dummies и проверять errors for autocorrelation and etc
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
😌
если только не в учебных целях и для себя, плюс почему neural networks? когда предсказываешь цены важно знать факторы, что на них влияют и понимать, как двигается рынок, поэтому советую регрессию
кстати почему нейронки, дело в том что я уже работал с регрессиями, не знаю на сколько это было правильно, но использовал Holt Winters и AutoArima
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Alinur Sabit
кстати почему нейронки, дело в том что я уже работал с регрессиями, не знаю на сколько это было правильно, но использовал Holt Winters и AutoArima
нейронки не потому что они не эффективны, а потому что когда работаешь с ценами тебе важно знать, что именнл движет твои цены вверх или вниз, какие факторы. такое можно эффективно получить из регрессии. бизнесу важнее знать, какой ему рычаг повернуть, чтобы получить того или иного больше, поэтому регрессия тут имеет место
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
понятные объяснения на счет плюса регрессии. Спасибо!
источник

VK

Vladimir Kolesnikov in Data Science Kazakhstan (DS/ML kz)
Почему бы не свести задачу к простой ариме? Во временном ряду макроэкономические параметры косвенно отражаются в тренде ряда плюс если сводить задачу к регрессии, то экзогенные факторы тоже придётся предиктить
источник

VK

Vladimir Kolesnikov in Data Science Kazakhstan (DS/ML kz)
😌
все сейчас на рынке просто сложили свои модельки и сидят, you can’t digitize it measure it, коронавирус и так далее 🤪
С этим согласен, в условиях кризиса и неопределённости делать прогнозы крайне неблагодарное дело
источник

A

Andrey in Data Science Kazakhstan (DS/ML kz)
ID:0
Пока мы все сидим дома в самоизоляции, самое время заняться саморазвитием и узнать много нового.

Поэтому мы хотим устроить первый онлайн-митап нашего сообщества.

Нам нужно 4-5 спикеров, поэтому если вам есть, чем поделиться с сообществом прошу написать мне в личку @alimbekovkz

Вы можеет рассказать о вашей работе, сделать разбор статьи, описать решение соревнования и многое другое если это касается DS/ML

Сбор спикеров до 8 апреля 2020 года
Расскажите кто нибудь про железо. Конкретно про выбор проца и все вытекающие с библиотеками и прочим, почему Nvidia, а не amd , десктопные видюхи или мобильные ,актуальные конфиги на 2020 год по деньгам и все в таком духе. Типа вкатиться посмотреть вот такой конфиг за 1000$, если что-то тренить вот такой , заказывать можно тут и тут.  Думаю тема довольно актуальная и интересная, так как в нете особо ничего нет.
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
Vladimir Kolesnikov
С этим согласен, в условиях кризиса и неопределённости делать прогнозы крайне неблагодарное дело
я начал работать над этим до появления вируса) кто знал что он вообще появится и так расшириться
источник

VK

Vladimir Kolesnikov in Data Science Kazakhstan (DS/ML kz)
Есть смысл почитать как банки проводят стресс тестироварие PD, там тоже сводится все к регрессии от экзогенных факторов при разных сценариях, модель будет не самой точной, но это позволит сделать хоть какие то предположения
источник

AS

Alinur Sabit in Data Science Kazakhstan (DS/ML kz)
Vladimir Kolesnikov
Есть смысл почитать как банки проводят стресс тестироварие PD, там тоже сводится все к регрессии от экзогенных факторов при разных сценариях, модель будет не самой точной, но это позволит сделать хоть какие то предположения
есть ли какие-нибудь проверенные источники?
источник

VK

Vladimir Kolesnikov in Data Science Kazakhstan (DS/ML kz)
Статья в википедии про стресс тесты достаточно исчерпывающая, а дальше уже больше на знание экономики, ибо в таких моделях явление лжекорреляции это частый случай, переменные должны логично описывать падение/рост цен. Чтобы объяснить бОльшую часть дисперсии, нужно неплохое такое исследование провести)
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Vladimir Kolesnikov
Статья в википедии про стресс тесты достаточно исчерпывающая, а дальше уже больше на знание экономики, ибо в таких моделях явление лжекорреляции это частый случай, переменные должны логично описывать падение/рост цен. Чтобы объяснить бОльшую часть дисперсии, нужно неплохое такое исследование провести)
++++
источник