VM
вы можете собрать датасет научных статей относительно несложно
Size: a a a
2020 April 28
RE
а каких статей?
есть сервис, где студенты заказывают дипломы/курсовые, а другие ребята выполняют эти заказы. Собственно автосаммари этих работ нужно научиться делать)
VM
посмотрите на TextRank
RE
Спасибо!
SP
Думаю, для дат можно уменьшить модель векторов (даже взять small), а для геотегов можно взять словарь Geo entities и добавить сравнение текущего слова со словарём в виде дополнительной фичи для модели tok2vec (так называется субмодель для word embeddings в spacy). Тогда опять же вектора можно будет уменьшить. Ну и там вектора ещё сами обычно с размерности 300 до размерности 96 уменьшаются, можно сразу снизить для задачи и перекомпилировать, хотя это скорости почти не добавит. Могу проконсультировать подробнее, пишите.
Спасибо! Все попробую сейчас и отпишусь, может у кого тоже такая проблема возникает.
SP
Ребята, привет
Задача суммаризации статей, может кто-то подсказать есть ли датасеты на русском и/или предобученные модели? Видел только датасет РИА-новостей, но там текст новости + заголовок к нему, немного не то.
Задача суммаризации статей, может кто-то подсказать есть ли датасеты на русском и/или предобученные модели? Видел только датасет РИА-новостей, но там текст новости + заголовок к нему, немного не то.
Для суммаризации хорошо решение на rust transformers работает. Для русского из коробки в HuggingFace transformers есть модель от Deep Pavlov с хорошими результатами.
SP
Кстати, кто-то быстрые токинайзеры от HuggingFace использовал?
SP
Ещё у меня глупый вопрос - но не могу найти ответ нигде, для обучения модели в SpaCy - Transformers какой алгоритм используется?
YB
Ещё у меня глупый вопрос - но не могу найти ответ нигде, для обучения модели в SpaCy - Transformers какой алгоритм используется?
там в качестве tok2vec для слов используется выход transformers, а дальше всё как обычно
M
Вопрос, а то так и не узнал ничего.
Нужно сделать автокорректировку текста (круче если с пунктуацией). Есть какая та либа/готовое решение? для русского языка
Язык: python3/C++
Есть база слов и всякие книжки
Нужно сделать автокорректировку текста (круче если с пунктуацией). Есть какая та либа/готовое решение? для русского языка
Язык: python3/C++
Есть база слов и всякие книжки
YB
Вопрос, а то так и не узнал ничего.
Нужно сделать автокорректировку текста (круче если с пунктуацией). Есть какая та либа/готовое решение? для русского языка
Язык: python3/C++
Есть база слов и всякие книжки
Нужно сделать автокорректировку текста (круче если с пунктуацией). Есть какая та либа/готовое решение? для русского языка
Язык: python3/C++
Есть база слов и всякие книжки
для начала, а что гугл говорит?
M
для начала, а что гугл говорит?
Гугл предложил много вариантов)
YB
Гугл предложил много вариантов)
тогда почему вы нас спрашиваете?
M
Ну стандартные методы поиска расстояний со связкой модели языка. Но возможно есть более интересные и рабочие методы. А возможно, что кто-то этим уже занимался
YB
Ну стандартные методы поиска расстояний со связкой модели языка. Но возможно есть более интересные и рабочие методы. А возможно, что кто-то этим уже занимался
ничего бесплатного, лучшего чем имеющееся, вроде бы нет
M
ничего бесплатного, лучшего чем имеющееся, вроде бы нет
Просто хочу узнать и самому написать с нуля самый хороший вариант) пора развиваться бы дальше импорта библиотек
M
Вот и спросил
АК
Недавно сделал классификатор текста c rss через monkeylearn - работает с точностью 90% и загружает гугл табличку отфильтрованными письмами:)
Все бы ничего, вот только лимит queries у monkeylearn всего 300 запросов, да и ограничение на количество обращений к api в единицу времени меньше чем у запьера - дает 429 ошибку.
В день около 200 запросов идет с rss - завтра лимит кончится и monkeylearn будет стоит 200 зеленых.
Посоветуйте, пожалуйста, обучаемый ручками дешевый классификатор кусков текстов из email-ов с api для продакшена, чтобы не нужно было самому облако ставить.
Все бы ничего, вот только лимит queries у monkeylearn всего 300 запросов, да и ограничение на количество обращений к api в единицу времени меньше чем у запьера - дает 429 ошибку.
В день около 200 запросов идет с rss - завтра лимит кончится и monkeylearn будет стоит 200 зеленых.
Посоветуйте, пожалуйста, обучаемый ручками дешевый классификатор кусков текстов из email-ов с api для продакшена, чтобы не нужно было самому облако ставить.
2020 April 29
D
Черт, ну это же простая задачка. Тем более у вас уже есть датасет размеченный через monkeylearn. Теперь хоть наивный байес для начала. Там ведь делать нечего, простенького программиста ещё надо и чтобы он прочитал примеры того как это делается (без мат теории)
АК
Черт, ну это же простая задачка. Тем более у вас уже есть датасет размеченный через monkeylearn. Теперь хоть наивный байес для начала. Там ведь делать нечего, простенького программиста ещё надо и чтобы он прочитал примеры того как это делается (без мат теории)
Так они и дали размеченный датасет(на 500 текстах).
Надо будет переучивать - думаю использовать fasttext или лучше сразу что-то в облаке брать от гугла или амазона?
Надо будет переучивать - думаю использовать fasttext или лучше сразу что-то в облаке брать от гугла или амазона?