S
Хотел напомнить, что сегодня у вас есть возможность в прямом эфире поучаствовать в онлайн семинаре специально подготовленным для Казахстанской ML-DS коммюнити https://t.me/ds_kz/65508
Size: a a a
2020 April 04
AB
Расскажите кто нибудь про железо. Конкретно про выбор проца и все вытекающие с библиотеками и прочим, почему Nvidia, а не amd , десктопные видюхи или мобильные ,актуальные конфиги на 2020 год по деньгам и все в таком духе. Типа вкатиться посмотреть вот такой конфиг за 1000$, если что-то тренить вот такой , заказывать можно тут и тут. Думаю тема довольно актуальная и интересная, так как в нете особо ничего нет.
"почему Nvidia, а не amd" – потому, что пока AMD ROCm, rocBLAS, etc. не сравнимы с NVIDIA CUDA, cuBLAS, etc. Хотя ситуация ROCm по немногу улучшается
AB
Уважаемые коллеги (я еще студент)! Мне нужна помощь с Predicting housing market trends желательно на R, но если эффективнее то в Python.
Я пытаюсь построить модель для прогнозирования цен жилища и количества купли-продаж в UK, отдельно в Большом Лондоне. Тривиальное решение уже сделал. Хочу углубиться. Датасет с 1995 по 2020. Думаю нет смысла использовать слишком старые (может с 2016 из-за Брексита?) https://www.gov.uk/guidance/about-the-price-paid-data
Предпочтительно работать с Neural Networks, но снова если есть варианты лучше то почему бы и нет.
*Трудность для меня в том, что надо разделить данные (time series) на окна по месяцам или неделям (как лучше?), тренировать и прогнозировать следующий период, и так двигать окно для улучшения модели. (поискал варианты решения неделю, нашел много чего, но не получается использовать).*
А также в датасете мало детализирующих атрибутов (нет подробных деталей вроде количество комнат, площадь и т.д)
Вопросы еще есть, но этот важный.
Спасибо за внимание.
Я пытаюсь построить модель для прогнозирования цен жилища и количества купли-продаж в UK, отдельно в Большом Лондоне. Тривиальное решение уже сделал. Хочу углубиться. Датасет с 1995 по 2020. Думаю нет смысла использовать слишком старые (может с 2016 из-за Брексита?) https://www.gov.uk/guidance/about-the-price-paid-data
Предпочтительно работать с Neural Networks, но снова если есть варианты лучше то почему бы и нет.
*Трудность для меня в том, что надо разделить данные (time series) на окна по месяцам или неделям (как лучше?), тренировать и прогнозировать следующий период, и так двигать окно для улучшения модели. (поискал варианты решения неделю, нашел много чего, но не получается использовать).*
А также в датасете мало детализирующих атрибутов (нет подробных деталей вроде количество комнат, площадь и т.д)
Вопросы еще есть, но этот важный.
Спасибо за внимание.
Для таких задач очень хорошо подходят Гауссовские процессы. Через выбор кернела туда можно вшивать сезонность, линейность, mean reversal, и пр. Только они масштабируются плохо
S
Correct details for today's zoom seminar:
Meeting ID: 186 314 868
Password: 798439
Meeting ID: 186 314 868
Password: 798439
К
китайский процессор в три раза быстрее Tesla T4 на кол-ве операций с int8 https://www.leiphone.com/news/202004/9RBvKZ7OGIqNS6O9.html
NS
Дорогие друзья!
На следующей неделе в ВШЭ и Сколтехе пройдут дни открытых дверей магистерских программ. Максим Панов и Алексей Наумов расскажут про совместную программу Сколтеха и ВШЭ Statistical Learning Theory.
Сколтех: 8 апреля в 17:00 по Москве
https://crei.skoltech.ru/cdise/2020/04/03/online-open-doors-days/
ВШЭ: 11 апреля в 15:30 по Москве
https://cs.hse.ru/announcements/334265322.html
Присоединяйтесь, ответим на все вопросы по программам и поступлению!
На следующей неделе в ВШЭ и Сколтехе пройдут дни открытых дверей магистерских программ. Максим Панов и Алексей Наумов расскажут про совместную программу Сколтеха и ВШЭ Statistical Learning Theory.
Сколтех: 8 апреля в 17:00 по Москве
https://crei.skoltech.ru/cdise/2020/04/03/online-open-doors-days/
ВШЭ: 11 апреля в 15:30 по Москве
https://cs.hse.ru/announcements/334265322.html
Присоединяйтесь, ответим на все вопросы по программам и поступлению!
2020 April 05
M
Said
Хотел напомнить, что сегодня у вас есть возможность в прямом эфире поучаствовать в онлайн семинаре специально подготовленным для Казахстанской ML-DS коммюнити https://t.me/ds_kz/65508
Доброго дня всем. Кто знает на каком канале в youtube запись этого семинары?
S
Можете задать свои вопросы под видео на YouTube. Я попрошу Яна ответить на них.
NK
Запись онлайн семинара, подготовленного Said
Main Subject: Data Science Principles & Latest trends
What are the fundamental Data Science principles that underpin them?
How can you be prepared for these disruptive technologies that will impact your industry?
Please join us as we share the latest trends and tools to equip you for the future!
Speaker: Yeon Choi
youtu.be/SBQozjjANBU
Main Subject: Data Science Principles & Latest trends
What are the fundamental Data Science principles that underpin them?
How can you be prepared for these disruptive technologies that will impact your industry?
Please join us as we share the latest trends and tools to equip you for the future!
Speaker: Yeon Choi
youtu.be/SBQozjjANBU
A
Есть какое-нибудь элегантное решение как сделать onehotencoding для подобного случая? Имеется 2 колонки: 1-user_id, 2- массив уникальных id. На выходе должен получиться dataframe, где индекс-user_id, а по колонкам уникальные значения 2 колонки(1-50) , каждая клетка 1 или ноль, в зависимости от того было ли значение колонки в листе колонки номер 2 этого пользователя.
Z
просто циклом создай 50 колонок
for i in range(50):
df['new_col_' + str(i)] = df['column_with_array'].apply(lambda j: int(i in j))
for i in range(50):
df['new_col_' + str(i)] = df['column_with_array'].apply(lambda j: int(i in j))
Z
А нет, у тебя же значения в массиве не от 0 до 50 ) цикл должен пробегать по дистинкт значениям id
A
А нет, у тебя же значения в массиве не от 0 до 50 ) цикл должен пробегать по дистинкт значениям id
+
B
Pandas.get_dummies
A
просто циклом создай 50 колонок
for i in range(50):
df['new_col_' + str(i)] = df['column_with_array'].apply(lambda j: int(i in j))
for i in range(50):
df['new_col_' + str(i)] = df['column_with_array'].apply(lambda j: int(i in j))
сейчас нечто похожее😅
думал может есть что-то попроще и уже готовое
думал может есть что-то попроще и уже готовое
Z
Bb
Pandas.get_dummies
эт кажется не подойдет(