В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

1701 membersпожаловаться на группу
2020 July 03

РН

Роман Некрасов... in Natural Language Processing
Vadim Gudkov
Мы обновили корпус ParaPhraser и добавили много новых кластеров парафразов заголовков с помощью RuBERT.
Общий размер корпуса ParaPhraser+ > 8m.
Подробнее: https://vk.com/wall-81368685_81
VK
ParaPhraser
Мы рады сообщить, что теперь стал доступен корпус ParaPhraserPlus - труд наших коллег. Корпус представляет собой кластеры парафраз заголовков (более 1.7 миллионов кластеров, 8 миллионов заголовков) и доступен в разделе загрузок: http://paraphraser.ru/download/ О том, как создавался корпус: https://www.aclweb.org/anthology/2020.ngt-1.6/
👍
источник
14:13пожаловаться#1

YB

Yuri Baburov in Natural Language Processing
Vadim Gudkov
Мы обновили корпус ParaPhraser и добавили много новых кластеров парафразов заголовков с помощью RuBERT.
Общий размер корпуса ParaPhraser+ > 8m.
Подробнее: https://vk.com/wall-81368685_81
VK
ParaPhraser
Мы рады сообщить, что теперь стал доступен корпус ParaPhraserPlus - труд наших коллег. Корпус представляет собой кластеры парафраз заголовков (более 1.7 миллионов кластеров, 8 миллионов заголовков) и доступен в разделе загрузок: http://paraphraser.ru/download/ О том, как создавался корпус: https://www.aclweb.org/anthology/2020.ngt-1.6/
огромное спасибо за вашу работу! paraphrasing datasets — очень важная штука для повышения точности векторных моделей.
источник
14:24пожаловаться#2

SM

Sasha Marova in Natural Language Processing
Друзья привет,помогите,пожалуйста с док2век. Если ее просто инициализировать doc2vec.Doc2Vec(docs,size=100) он и так выдает векторы,зачем же эпохи обучения? Или он выдает просто рандомные значения? Наверное,все- таки нет. И не понятно с build_vocab.в Word2vec он нужен,если изменяем изначальный словарь,а здесь? Я и такие, и такие примеры нахожу,что меня окончательно запутало...
источник
14:29пожаловаться#3

AK

Alexander Kukushkin in Natural Language Processing
Mikhail Tikhomirov
Добрый день! Возник вопрос, доступен ли NewsRuBERT в открытом доступе?
Доступен но не описан. Скрипт для тренировки https://github.com/natasha/slovnet/blob/master/scripts/01_bert_news/main.ipynb
источник
17:13пожаловаться#4

MT

Mikhail Tikhomirov in Natural Language Processing
Alexander Kukushkin
Доступен но не описан. Скрипт для тренировки https://github.com/natasha/slovnet/blob/master/scripts/01_bert_news/main.ipynb
А где можно ссылочку найти?
И также возник вопрос: ExponentialLR лучше работает, чем линейный?
источник
17:14пожаловаться#5

AK

Alexander Kukushkin in Natural Language Processing
Ссылочку на веса? В скрипте закопаны https://storage.yandexcloud.net/natasha-slovnet/01_bert_news/rubert/{emb.pt,encoder.pt,mlm.pt} . Линейны кажется на тестировался
источник
17:17пожаловаться#6

MT

Mikhail Tikhomirov in Natural Language Processing
Спасибо!
источник
17:19пожаловаться#7

MT

Mikhail Tikhomirov in Natural Language Processing
А сколько в сумме шагов было сделано? Не вижу в скрипте итоговое количество шагов \ эпох
источник
17:20пожаловаться#8

AK

Alexander Kukushkin in Natural Language Processing
Mikhail Tikhomirov
А сколько в сумме шагов было сделано? Не вижу в скрипте итоговое количество шагов \ эпох
Да, эта инфа утеряна. Но я кажется примерно восстановил. Там 12Гб тренировочных данных, ~4.7 млн. новостей. Модель видела данные 1 раз. Размер батча 32 x 128, в него влезает ~20 новостных статей. Получается всего батчей было ~235 000. Работало примерно сутки на V100
источник
18:07пожаловаться#9

MT

Mikhail Tikhomirov in Natural Language Processing
А, модель понял, модель недоучилась получается, скорее всего.
Просто обучал схожую модель на 8 миллионах новостей, но там я прогнал 4 миллиона шагов примерно.

Кстати, 128 размер последовательности? На опубликованной страничке указано, что применялись подходы от RoBERTa, там вроде был совет про 512 последовательность на трейне, если я не ошибаюсь.
источник
18:11пожаловаться#10

MT

Mikhail Tikhomirov in Natural Language Processing
Хочу просто понять как другие люди решают задачу дообучения берта на предметную область (новости в данном случае) и как это делать лучше.
источник
18:12пожаловаться#11

AK

Alexander Kukushkin in Natural Language Processing
Да, 128 размер последовательности. Ну в этом месте в Slovnet не как в Roberta. В среднем размер новости — 200. То есть мы видим примерно пол статьи за раз, вроде норм. Потребление памяти растёт квадратично. Если сделать 512, нужно в 16 раз больше памяти. Получаются совсем маленькие батчи, долго трнировать
источник
18:19пожаловаться#12

MT

Mikhail Tikhomirov in Natural Language Processing
А есть ли лёгкий способ воспроизвести Ваши измерения на этих ner датасетах с другими весами?
источник
18:20пожаловаться#13

AK

Alexander Kukushkin in Natural Language Processing
Не понял вопрос
источник
18:20пожаловаться#14

MT

Mikhail Tikhomirov in Natural Language Processing
Содержится ли скрипт у Вас по запуску данного эксперимента?
источник
18:20пожаловаться#15

MT

Mikhail Tikhomirov in Natural Language Processing
Хочу запустить со своим бертом
источник
18:21пожаловаться#16

MT

Mikhail Tikhomirov in Natural Language Processing
Интересно, дало ли и сколько качества более длительное обучение
источник
18:21пожаловаться#17

AK

Alexander Kukushkin in Natural Language Processing
Скрипт для тренировки NER https://github.com/natasha/slovnet/blob/master/scripts/02_bert_ner/main.ipynb . Как минимум нужно будет адаптировать веса BERT, с Slovnet немного своя реализация https://github.com/natasha/slovnet/blob/master/slovnet/model/bert.py

Мой опыт подсказывает что смысла мало. Если вставить вместо NewsRuBert RuBert от Deeppavlov разницы в NER особо не будет.
источник
18:26пожаловаться#18

MT

Mikhail Tikhomirov in Natural Language Processing
Ну так Ваш NewsRuBert тренировался мало. На Нашем эксперименте по суммаризации был хороший прирост над RuBERT, но это еще не факт, что он будет тут.
источник
18:27пожаловаться#19

MT

Mikhail Tikhomirov in Natural Language Processing
А есть пример адапта весов RuBERT к Вашему формату?
источник
18:28пожаловаться#20