DS
Как работают нейроны в мозгах в принципе понятно (относительно)
Size: a a a
2021 February 16
CD
Как работают нейроны в мозгах в принципе понятно (относительно)
Хм... можно узнать, как человек запоминает больше, чем на день?
DS
В классическом МЛ не решена проблема смены топологии в процессе вычислений. Частичная попытка этого добиться добивается дропаутом
DS
К тому жде делаем поправочку что если смоделировать мозг в виде нейросетей, их там будет до ебени матери
DS
И вот как работает трансфер лернинг и как определять какие веса шарятся — хуй знает
DS
Смену топологии в нейросети в процессе вычисления даже можно сделать особо не напрягаясь при помощи FC слоев
DS
Но тогда возникает следующий вопрос — а как это дело учить? Для того чтобы учить нейросеть тебе надо запоминать взаимосвязь между входами и выходами, а учитывая что те же самые трансформеры жрут L0^2 памяти
DS
Короче как работает нейрон понятно, как мозг работает в куче — хуй знает. Нейросети с мультиголовым вниманием, как LSTM, так и всякие трансформеры, берты, т5 и иже с ними это наиболее близкое, но проблему трансфера оно не решает
DS
Т5, кстати, это MP архитектура, одна из первых архитектур где одна сетка может выполнять на хорошем уровне разные задачи без ретрейна, в зависимости от того что на вход подается
DS
Так шо направление правильное, куда эта скользкая дорожка приведет — хуй знает, пока наиболее частая фраза в описании разных подходов к решению задач в МЛ содержит дохуя фраз типа "it turns out"
ΑZ
найс лекция, спасибо
DS
Ну и еще одна нерешенная проблема — нормальное представление данных на вход, когда мы говорим об изначально цифровых данных, типа естественных данных, то тут все просто, а вот когда говорим о данных искусственных, например языковых конструкциях, то там подходов — пиздец, начиная с простого TF-IDF и заканчивая какими-то ебейшими морфемными токенайзерами
DS
(Естественные данные это те данные которые не требуют трудоемкой обработки перед подачей на вход)
DS
Ну и для осознания масштабов, у меня сейчас обучается моделька для автоматической классификации товаров для магазина на 5583 категорий, на вход понимает до 400 слов (название + описание) размерность эмбеддинга 512, размер словаря чето около 65 тысяч слов, датасет суммарно несколько миллионов промаркированных товаров
DS
Это дерьмо занимает 250 гиг озу и одна эпоха(итерация по датасету) проходит 8 часов на 30 головах процессора
DS
Из-за ебаных школотронов, майнеров и прочих петухов достать 3090 сейчас в нормальную цену и нормальной ревизии практически невозможно
IL
Из-за ебаных школотронов, майнеров и прочих петухов достать 3090 сейчас в нормальную цену и нормальной ревизии практически невозможно
Это точно, кстати. Мне самому комп сто лет обновить надо, ничего нигде не купишь.
DS
Мне надо 4 шт 3090
DS
Желательно одного производителя и желательно одной ревизии
DS
У ебучих перекупов покупать за 3к лично я ебал