Спасибо большое

Чем лучше всего на токсик и не токсик размечать

Мне всегда это было проще представить как задачу перевода

Я про работу T5

А префиксами можем научить на нужное переводить 😅

Недавно в нлп, бенчмарков особо не знаю

Да, я видел что ее для перефраз использует через перевод

На обоих языках

Я бы это назвал, что с помощью перевода готовят данные для обучения

Но одна модель может и парафразить и переводить на английский и у t5 это в теории можно префиксами разрулить

Добрый день. Скажите, пожалуйста, если кто знает, существует ли датасет с цитатами достаточно известных философов / политиков / писателей на русском языке. Должен содержать текст цитаты и имя автора. Задача - классификация авторов по стилю изложения, то есть выборка должна быть вполне репрезентативной (минимум 10-15 цитат на автора). В corus ничего подобного не нашел. Желательно, чтобы текст был нормализован, с минимум пунктуацией. Буду благодарен за любые ответы.

Можно попарсить из https://citaty.info

Вот такой вариант ещё, тоже на попарсить вероятно: https://ru.wikiquote.org/wiki/%D0%92%D0%B8%D0%BA%D0%B8%D1%86%D0%B8%D1%82%D0%B0%D1%82%D0%BD%D0%B8%D0%BA:%D0%9E%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D0%B5

спасибо!

Всем привет! Анонсирую завтрашний вебинар НТР&HITs Томского Государственного Университета :)

В марте у нас уже был вебинар Дмитрия Зубарева, исследовательский центр IBM Алмаден, про поиск новых материалов с помощью нейронных сетей. Оля Кононова, ныне работающая в Roviant Sciences, на ближайшем научно-техническом вебинаре НТР& HITs планирует обсуждать проект, над которым она работала в Калифорнийском университете в Беркли.  Обработав к ~ 5 млн научных статей, они собрали набор данных из ~ 70 тыс. реакций синтеза керамики, принадлежащих к различным типам и использовали этот набор данных для исследования условий синтеза распространенных классов материалов. Это важно не только и не столько ради синтеза керамики, сколько ради своей методологической части - извлечение нетривиальной специализированной информации из текстов.

Когда: 30 ноября 2021, 16:00 MCK (20:00 по Томску)
Спикер: Оля Кононова, Ройвант Саенсес, Нью-Йорк, США
Тема: Обучение машинному синтезу путем автоматического чтения миллионов научных публикаций
Где:  Zoom. Ссылка на регистрацию: https://ntrlab.zoom.us/webinar/register/2816215991698/WN_OumeP-LFSVi2AcwPHZm8Rw

Всем добрый день! Кто-нибудь сталкивался с невозможностью установить punkt для nltk? nltk.download('punkt') возвращает "104. connection refused by peer".

а вручную получается его скачать (http://www.nltk.org/nltk_data/)?

Вручную да. stackoverflow советует качать, unzip, скопировать руками. Но это какой то костыль по моему, нет?

У меня всегда без проблем качается

А через wget или что-нибудь такое?

А другие ресурсы nltk качаются? Что-нибудь из списка nltk.download('popular')?

Нет. Везде одинаковое поведение.