Ребят, вопрос. Надо будет проводить небольшой воркшоп по введению в нс. Начинать по традиции будем с полносвязных сеток. Хотелось бы сконцентрироваться на разных тех деталях. Пока в голове набросались стандартные пункты:
1) архитектура сети
2) базовые функции активации (сигмоида/тангенс/релу/лики релу) и сравнение их между собой. Мол, почему сигмоида хуже тангенса и почему оба они уже практически полностью заменены релу (на наглядных мат примерах сможем так увидеть проблему затухающего градиента)
3) разбор бэкпропа
4) регуляризация в сетях (L2, dropout neuron, dropout connection)
5) батч нормализация
6) кратенький обзор других оптимизаторов (Adam, rmsprop), но без математики особой. Просто общая суть и что такое моментум
Подскажите, какие ещё аспекты можно в полносвязных обсудить? Заранее спасибо