А у вас не сходится скор?

У меня на разных способах валидации очень разные результаты.

И на сколько отличается от лб в процентах?

От результата в два раза лучше до в два раза хуже.

Херасе)

Ну так вариантов же масса. Обучаться на всегда одинаковом промежутке времени, или на каждом фолде докидывать, предсказывать два месяца вперёд или целый год разом.

Результаты для разных отрезков года разные.

А не, лол, это я конечно поторопился с выводами)

Не то посчитал

Так что сори за ложную тревогу

Лольчики-прикольчики.

Изменения в топе!!! Теперь 5 место занимает carpe.diemmm. mmi333 пора возвращать свои позиции.
Изменения в топе!!! Теперь 7 место занимает homeless. rustam пора возвращать свои позиции.
Пользователь sergey поднялся на 9 место. А вот ttwtest1, наоборот, опустился в рейтинге(
Топ-10:
1. vvv - 56389.12
2. iggisv9t - 56877.94
3. pkm - 56947.28
4. noname - 56967.57
5. carpe.diemmm - 57203.03
6. mmi333 - 57539.32
7. homeless - 57756.14
8. rustam - 58269.18
9. sergey - 58495.17
10. ttwtest1 - 58757.08

Крайне интересные данные. Локально улучшаем прогноз на 5%, а при загрузке теста все идёт в полный разнос. И чему после этого верить не понятно  :(

говорят есть правило "верь кросс-валидации"

Правило есть только не видно что оно работает на этих данных.

Нужно искать баланс между вариантами "доверять кросс-валидации" и "оверфитить 30% тестового сета"

Но только если данные трейна и теста однородны. А эти по времени разнесены.

А vvv в телеге есть?)

pkm есть, а толку, сказать что я понял как оно работает – не скажу. Как только увеличиваешь точность модели или вносишь отклонения по другим анализам в конечный прайс, то загруженный тест выдает еще хуже результат чем было. Но я-то тут домохозяйка, которая в анализ данных вошла через gui и excel. Я думаю все, кто в топе и вообще текущие показатели — это очень слабый результат, и ближе к концу конкурса кто-то выйдет и покажет как нужно.

Я думаю, никто не покажет, потому что не захочет время тратить.