EK
Первый доклад: Михаил Сарафанов про автоматическое заполнение пропущенных значений в рядах гидрометеорологических наблюдений
Size: a a a
2021 July 12
EK
Постановка задачи: "дырки в данных" это обычное дело, причин десятки, от облачности (для ДЗЗ) до поломки измерительного прибора
NN
Интервью про магистратуру:
https://vk.com/videos-54201931?z=video-54201931_456239209%2Fclub54201931%2Fpl_-54201931_-2
Мастер-класс:
https://www.youtube.com/watch?v=g4ABtEvQmNw
Pre-masters:
https://dx.timepad.ru/event/1634095/
https://vk.com/videos-54201931?z=video-54201931_456239209%2Fclub54201931%2Fpl_-54201931_-2
Мастер-класс:
https://www.youtube.com/watch?v=g4ABtEvQmNw
Pre-masters:
https://dx.timepad.ru/event/1634095/
EK
Есть простые методы: например, заполнить все пропуски константой или статистикой (средней, модой, медианой).
EK
Для категориальных признаков самое простое - заполнять просто наиболее часто встречающимся классом
EK
Чуть-чуть сложнее:
EK
В целом про восстановление: часто смущает, что восстановленные данные выглядят слишком искусственными, поэтому иногда специально вносят шум.
EK
Столь простые методы в большей части задач не годятся. Поэтому поищем что-то похитрее
EK
EK
Визуализации для базовых интерполяционных методов
EK
Итеративное прогнозирование. Восстановленные данные итеративно начинают использоваться для моделирование следующих пропусков
EK
Задача: предсказать последовательность значений на основании того, что наблюдалась в прошлом. Ключевое здесь: время и история наблюдений
EK
Список популярных подходов к прогнозированию временных рядов
EK
Такие алгоритмы всегда комплексные и включают множество этапов (от подготовки до валидации). Отдельные кусочки собирают в цепочки (pipelines)
EK
Машинное обучение работает на таблицах, а как быть с временным рядом? Его тоже раскладывают в специальную таблицу
EK
Количество предикторов (красных точек, по которым предсказывается значение синей) - это гиперпараметр, который можно подбирать, и сам этот процесс разложения включать как узел в любую цепочку
EK
Предлагается автоматический механизм поиска структур таких цепочек, с помощью эволюционных алгоритмов
EK
*В презентации наглядные анимации процесса поиска структуры цепочки"
EK
После подбора структуры цепочки, на всех её узлах определяются оптимальные значения гиперпараметров
EK
Но задача заполнения пропусков не эквивалентна задаче прогнозирования по временому ряду, ведь есть данные где-то спереди, после пропуска, и не охота их терять. Возникает концепт двустороннего прогнозирования