VM
семинары и задания доступны при регистрации на курс
Size: a a a
2021 December 14
VM
новый запуск курса будет в феврале
ТИ
У Эндрю Ng тоже упоминаются
o
Спасибо. Раз начали разговор про курс. В самом первом тесте, кажется, есть вопрос про связь иерархии Хомского и регулярными выражениями. Но я ни в одной версии курса не видел теорию на эту тему(смотрел в перемотке, не очень внимательно). Это я проглядел или это для самостоятельной работы?
Y
Круто!
VM
два раза проговариается в курсе (в первой и 7-ой, кажется, лекции), плюс есть методичка, где это описано
VM
методичка недописана, поэтому я ее даю только студентам, но начальные главы уже есть
o
Спасибо
IG
Конкретные архитектуры типа LSTM/GRU уже бесполезны, да. А вот как концепт и база для других исследований рекуррентные сети живее всех живых, например https://github.com/hazyresearch/state-spaces
SМ
В тоже время МОЕ тоже использует аналог вентилей и гейтов как в gru
SМ
Действительно это полезное знание
ГZ
в каких задачах концепт рекуретных сетей лучше, чем трансформеры?
SМ
BiLSTM+CRF в НЕр?)
SМ
Наверное не хуже
SМ
IG
Ровно в тех, которые я скинул, например. Можно перейти по ссылкам и увидеть чудесную табличку.
IG
(другое дело, что s4 это не совсем рекуррентные сети, но почти)
IG
а вот языковое моделирование, в которой эта модель в 60 раз быстрее трансформеров
ГZ
наверное? но ведь трансфомеры же ещё и быстрее - их можно на карточках парралелить
SМ
А лстмки низя в хоровод?)