I
Если на выходе классификация предложений, можно doc2vec какой-нибудь использовать, или получать эмбеддинг предложения предтренированным бертом
Size: a a a
2021 January 04
L
а такая вот еще идея.. тупо взять словарь со всеми уникальными, а потом раздать каждому предложению номера из словаря.. получится максимум 10 колонок.. как думаете?
L
Если на выходе классификация предложений, можно doc2vec какой-нибудь использовать, или получать эмбеддинг предложения предтренированным бертом
спасибо! попробую
I
Не знаю насколько это будет быстро, но получение эмбеддингов предложений в стиле "усреднить векторы" даст хреновенький результат, не везде подойдет
2021 January 06
🎩
добрый вечер, подскажите как нанести на график в seaborn градиент на точки. не могу разобраться
🎩
в таком виде
I
добрый вечер, подскажите как нанести на график в seaborn градиент на точки. не могу разобраться
Я бы попробовал передать что-то в параметр hue
I
Мб есть какая-то переменная уже для этого или самому сделать
🎩
почитаю, спасибо
I
я делал что-то подобное через scatter из matplotlib ax[1,1].scatter( ovation_msskg[:,2], ovation_msskg[:,0]/1e3, marker='.', c=ovation.iloc[:,3], cmap='cool',alpha = 0.7)
kk
Leonid
коллеги, все с Новым Годом!
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
совет нужен..
есть 7 млн предложений (5-10 слов в каждом, но плюс в том, что все слова несут смысловую нагрузку - нет стоп слов) половина размечена на 10 классов. Проблема в том, что очень много уникальных слов получается. Т.е. тупо запихнуть в какой-нибудь векторайзер не вариант - матрица получается 7 млн х 40.000
Чем лучше подготовить данные для обучения? И вообще какую стратегию тут применить?
Сделай из большой выборки маленькую выборку, отладь все ошибки, получи pipeline, потом уже тестируй на полной выборке , так время сэкономишь.
P
всем привет
обратное распространение при обучении нейронки - это я верно понимаю что:
- дано значение Y как эталон, правильный ответ
- входное значение N
- на выходе есть значение скажем X
- теперь (X-Y)**2: это чистая ошибка квадратичная
И собственно само распостранние:
- старый вес - (N * (X-Y))*alpha и это и будет новым весом для нейрона, типа как бы обратное распространение?
я просто путаюсь в разных источника по разному называют, где то корректировка веса, где backpropagate, где то обратной функцией обучения … в общем это все оно?
обратное распространение при обучении нейронки - это я верно понимаю что:
- дано значение Y как эталон, правильный ответ
- входное значение N
- на выходе есть значение скажем X
- теперь (X-Y)**2: это чистая ошибка квадратичная
И собственно само распостранние:
- старый вес - (N * (X-Y))*alpha и это и будет новым весом для нейрона, типа как бы обратное распространение?
я просто путаюсь в разных источника по разному называют, где то корректировка веса, где backpropagate, где то обратной функцией обучения … в общем это все оно?
S
всем привет
обратное распространение при обучении нейронки - это я верно понимаю что:
- дано значение Y как эталон, правильный ответ
- входное значение N
- на выходе есть значение скажем X
- теперь (X-Y)**2: это чистая ошибка квадратичная
И собственно само распостранние:
- старый вес - (N * (X-Y))*alpha и это и будет новым весом для нейрона, типа как бы обратное распространение?
я просто путаюсь в разных источника по разному называют, где то корректировка веса, где backpropagate, где то обратной функцией обучения … в общем это все оно?
обратное распространение при обучении нейронки - это я верно понимаю что:
- дано значение Y как эталон, правильный ответ
- входное значение N
- на выходе есть значение скажем X
- теперь (X-Y)**2: это чистая ошибка квадратичная
И собственно само распостранние:
- старый вес - (N * (X-Y))*alpha и это и будет новым весом для нейрона, типа как бы обратное распространение?
я просто путаюсь в разных источника по разному называют, где то корректировка веса, где backpropagate, где то обратной функцией обучения … в общем это все оно?
Ну как бы не совсем)).
P
Ну как бы не совсем)).
а можно уточнить, почему или хз как правильно спросить, где ошибка …
S
а можно уточнить, почему или хз как правильно спросить, где ошибка …
P
Ну как бы не совсем)).
вы имеете ввиду, что данную меру ошибки нужно распределить ка кто на весь граф?
P
спасибо
L
коллеги, теоретический вопрос..
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
ЕТ
Leonid
коллеги, теоретический вопрос..
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
Может, внутри функции дублируются временные данные?
DD
Leonid
коллеги, теоретический вопрос..
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
допустим, есть функция func. я запускаю ее на чистом jupyter notebook, при старте используется 200 мб памяти, в процессе работы func читает паркет, что-то с ним делает, а потом записывает обратно в паркет. т.е. не создает никаких глобальных переменных.. в процессе работы утилизация памяти доходит до 30 гб., а по окончанию работы функции в памяти остается что-то на 11гб, хотя никаких новых переменных в глобальной области не появилось..
в чем может быть дело? И как этого избежать?
Питоновский сборщик мусора довольно ленив. Если ты вызовешь явно import gc; gc.collect() , как расход памяти меняется?