IB
скорее всего модель либо оверфитит либо андерфитит
Size: a a a
2021 January 04
IB
попробуйте добавить Dropout layerы
I
тебе такое нужно для каждого узла сделать
X
попробуйте добавить Dropout layerы
Хорошо, попробую спасибо
US
Добрый день! Не подскажете как обучить модель на встроенной видеокарте?
A
Добрый день! Не подскажете как обучить модель на встроенной видеокарте?
jupyter
I
Добрый день! Не подскажете как обучить модель на встроенной видеокарте?
Со слезами на глазах
A
Вроде же все видеокарты от nvidia подходят для tf и PyTorch?
DK
Вроде же все видеокарты от nvidia подходят для tf и PyTorch?
Не под все есть сбилженная актуальная версия, но ручками билдится под все
DD
Доброе утро народ.
Простите, я полный новичок в нейросетях,возможно задаю глупый вопрос.
Писал свою библиотеку простой нейросети, и допустим нейронка выдала 0.6 а ожидаемый ответ 0.1 и чтоб найти ошибку я делаю 0.1-0.6
И вся сейросеть превращается в кашу с отрицательными весами.
Подскажите пожалуйста,что я упустил
Простите, я полный новичок в нейросетях,возможно задаю глупый вопрос.
Писал свою библиотеку простой нейросети, и допустим нейронка выдала 0.6 а ожидаемый ответ 0.1 и чтоб найти ошибку я делаю 0.1-0.6
И вся сейросеть превращается в кашу с отрицательными весами.
Подскажите пожалуйста,что я упустил
Ну нейросеть так-то по построению - каша; это её ожидаемое свойство 😄 А в чем проблема отрицательных весов?
o
привет! подскажите плз по какому принципу версии кераса меняются, которые с тензорфалоу идут? ставилю tf v2.0 там керас 2.2.4, ставлю 1.14, там такая же версия. устанавливаю через pip
o
проверяю через 'from tensorflow import keras print(keras.version)'
X
Ну нейросеть так-то по построению - каша; это её ожидаемое свойство 😄 А в чем проблема отрицательных весов?
Да вроди уже нет проблем)
Он и с отрицательными весами работает отлично.
Он и с отрицательными весами работает отлично.
L
коллеги, все с Новым Годом!
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
DD
Leonid
коллеги, все с Новым Годом!
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
Можно опять таки в векторайзер, но батчами, чтобы в память влазило.
Можно слова через готовый fasttext пропустить и потом векторы усреднить в рамках одного текста (или как-то хитрее агрегировать), тогда размерность сильно меньше будет.
Можно слова через готовый fasttext пропустить и потом векторы усреднить в рамках одного текста (или как-то хитрее агрегировать), тогда размерность сильно меньше будет.
I
Leonid
коллеги, все с Новым Годом!
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
Смотря что с ними далее нужно делать. BPE - первое, что в голову идет.
L
Смотря что с ними далее нужно делать. BPE - первое, что в голову идет.
по тем же 10 классам раскидать..
L
Смотря что с ними далее нужно делать. BPE - первое, что в голову идет.
а BPE это что? где почитать?
на вскидку не ищет ничего..
на вскидку не ищет ничего..
I
Byte pair encoding