MT
Описания нет, но это новости за 2017 год, если мне не изменяет память. Да, нужно быть участником. Организаторы обещали убрать "аппрув" новых участников.
Size: a a a
2020 July 10
FF
Можно добавить этот датасет в corus
MT
Возможно вскоре появится наш RuNewsBERT в открытом доступе по этому датасету (просто с месяц дообучали на датасете RuBERT), он так то есть. и статья одного из студентов выйдет в этом году, где он ее использовал и получил прирост на саммаризации по сравнению с рубертом. Но пока еще не принято решение ее выложить.
MT
Точно, ссылка на гитхабе есть
FF
News corpus недоступен по ссылке
MT
Хм, странно. Мб решили его убрать, хз.
MT
Я уточню у научника, открыт таки он или нет, раз был на соревновании.
MT
Короче скорее всего он открытый да, просто на него нет нигде валидных ссылок. Выложу как нибудь на яндекс диск, данных много не бывает
MT
Но так то я понимаю есть намного более крупные датасеты по новостям, кстати?
AK
Короче скорее всего он открытый да, просто на него нет нигде валидных ссылок. Выложу как нибудь на яндекс диск, данных много не бывает
Добавлю в https://github.com/natasha/corus . Есть вариант захостить на s3
AK
Но так то я понимаю есть намного более крупные датасеты по новостям, кстати?
Мне не известно
MT
О, ну тогда я подниму этот вопрос еще раз и как буду уверен что все ок, скину.
Хотя перед этим все же хотелось бы сделать его в нормальном формате, без разделения пунктуации и слов
Хотя перед этим все же хотелось бы сделать его в нормальном формате, без разделения пунктуации и слов
A
Всем привет! Подскажите, не могу сообразить, как мне переписать код чтобы использовать батчи? Наверняка же есть стандартная обертка. Памяти не хватает.
# Using BERT for the First TIme
# !pip install transformers
# model_class, tokenizer_class, pretrained_weights = (ppb.DistilBertModel, ppb.DistilBertTokenizer, 'distilbert-base-uncased')
# model = model_class.from_pretrained(pretrained_weights)
with torch.no_grad():
last_hidden_states = model(input_ids, attention_mask=attention_mask)
# Using BERT for the First TIme
# !pip install transformers
# model_class, tokenizer_class, pretrained_weights = (ppb.DistilBertModel, ppb.DistilBertTokenizer, 'distilbert-base-uncased')
# model = model_class.from_pretrained(pretrained_weights)
with torch.no_grad():
last_hidden_states = model(input_ids, attention_mask=attention_mask)
MF
Всем привет! Подскажите, не могу сообразить, как мне переписать код чтобы использовать батчи? Наверняка же есть стандартная обертка. Памяти не хватает.
# Using BERT for the First TIme
# !pip install transformers
# model_class, tokenizer_class, pretrained_weights = (ppb.DistilBertModel, ppb.DistilBertTokenizer, 'distilbert-base-uncased')
# model = model_class.from_pretrained(pretrained_weights)
with torch.no_grad():
last_hidden_states = model(input_ids, attention_mask=attention_mask)
# Using BERT for the First TIme
# !pip install transformers
# model_class, tokenizer_class, pretrained_weights = (ppb.DistilBertModel, ppb.DistilBertTokenizer, 'distilbert-base-uncased')
# model = model_class.from_pretrained(pretrained_weights)
with torch.no_grad():
last_hidden_states = model(input_ids, attention_mask=attention_mask)
torch.utils.data.DataLoader
A
вот и не могу примера найти как его для эмбедингов предложений Bert использовать
A
и сообразить тоже не получается 😞
OR
вот и не могу примера найти как его для эмбедингов предложений Bert использовать
Берт сам эмбеддинги создает, дополнительно не надо вроде
AK
друзья, есть ли готовые решения для разметки текста на фотографии? у меня есть изображения и координаты найденных кусочков текста. хочу дать возможность пользователям выбирать область и вписывать туда текст, который в этой области