Жертвуешь временем компа?
GAN, lucky ticket, нейронка вместо cost function, согласие многих паралельно тренируемых нейронок (ошибки разные а правильный ответ более единообразен)
Жертвуешь возможность разметить данные заранее?
Active learning, другие варианты использовать confidence
Жертвуешь возможностью не-собирать другие данные?
Post-training (всех слоев или только пары последних если почти все классы совпадают до-после)
Кто знает еще - дополните
Плюсы случайного леса
высокая точность предсказания, немного лишь уступающая бустингу
не очень чувствителен к выбросам
также, как и обычные деревья, не чувствителен к масштабу признаков
весьма хорошо работает из коробки
эффективно работает с большим числом признаков и классов
сложно переобучить
имеется возможность оценки важности признаков
возможно распрараллелить
Минусы случайного леса
хуже работет в случае разреженных признаков
также, как и обычные деревья, не умеет экстраполировать
склонен к переобучению на зашумленных данных
большой размер модели
Плюсы AdaBoost
данный алгоритм очень прост для реализации
эффективен с точки зрения вычислительной сложности
позволяет решать достаточно сложные задачи с помощью слабых моделей
фактически только два параметра настройки: класс моделей и их количество
обеспечивает высокую точность прогнозирования
прост для модификации
Плюсы GBM
один из наиболее мощных алгоритмов распознования
если использовать в качестве базовой модели решающее дерево, то не очень чувствителен к масштабу данных
множество способов улучшить алгоритм
общий подход к решению задачи
подходит под регрессию, классификацию и ранжирование
можно использовать произвольную функцию потерь (зависит от поставленной задачи)
есть очень хорошие готовые решения
Минусы
довольно трудоемкий алгоритм, если использовать много базовых моделей
в "чистой" реализации очень склонен к переобучению
не подходит для использования со сложными или сильными моделями
иногда довольно сложная настройка
неинтерпретируем
Slide Type
Минусы AdaBoost
использование сложных или сильных моделей приводит к переобучению
чувствительность к выбросам (им достаются самые высокие значения весов), что приводит к переобучению
практически не поддается интерпретации
желательно иметь достаточно большую выборку, иначе может привести к переобучению