Мы поговорим об этом на следующей неделе 🙂

Код надо причесать. Количество средств для сравнения немного увеличить

Вообще, оригинал сообщения был выложен в NLP чате, где, скорее всего, абсолютное большинство - питонисты, не всегда знающие, что бывают альтернативы

И питонисты и люди, которым хоть на чем-нибудь запустить, поэтому может даже более открытые к новым языкам.

Те, кому “хоть на чём-нибудь запустить”, нам не очень интересны. Интереснее те, кто готов подключиться к разработке

Ну почему же, такие люди могут продвигать идею в массы.

И могут на реальных задачах гонять библиотеки, отыскивать какие-то малоочевидные баги и проблемы.

Согласен, но NLP на Julia находится в таком состоянии, что продвигать в массы пока особенно нечего. Нет полностью готовых инструментов. Хоть что-то, но надо доделывать

Поясню немного. В NLP сейчас эйфория по поводу того, что некоторые задачи можно решить на нейросетях, вообще не вдаваясь в лингвистику и методы анализа текстов как таковые. Народ бросился использовать готовые средства. На питоне есть несколько библиотек, где думать о применении не надо. Но и расширить их, мягко говоря, сложно. В джулийном варианте, вроде бы по ключевым моментам современного NLP всё есть, а вот в деталях - масса недоделок. Полностью готовым не заиспользуешь

Это да.
Просто если есть какие-то реальные задачи, которые можно решать, то тогда проще определиться, что именно надо дорабатывать.

Просто если теоретизировать, то можно много чего напридумывать, что никому не будет нужно или будет неудобно для использования.

Я в свое время игрался с идеей random forest для bag of words. Идея была в том, что если все переменные принимают значения 0 или 1, то алгоритм RF можно очень сильно оптимизировать и он будет работать очень шустро, гораздо быстрее чем generic имплементация.

Было бы хорошо наверное сделать какой-то гибридный подход: всё, что сейчас легко делать на Julia делать на ней (типа подготовки данных), а куски которые сейчас сложно переносятся делать через вызовы python библиотек. Если иметь рабочий пайплайн, в котором задача решена от начала до конца, то можно постепенно убирать питоновские куски.

Но чтобы такое сделать, нужен опыт в решении задач, то есть понимать, что у неё начало, что у неё конец. Если вы всё это знаете и умеете, то вопросов нет, вам тогда и в самом деле никто кроме разработчиков не нужен. Если же есть какие-то сомнения по поводу практических задач, то тогда нет ничего плохого в том, чтобы консультироваться с теми, кто не занимается непосредственной разработкой, но могут на верхнем уровне сказать чего хватает, а чего нет.

Основные этапы традиционного анализа на Джулии сделаны в рамках TextAnalysis. Там вопрос в деталях и сервисных функциях. В джулийном легко получить матрицы документов и проводить анализ уже её собственными средствами, но нет готовых средств, например, для решения простой задачи - определение близости документам из текущего запроса к предыдущей тысяче документов. Питоновские библиотеки - это, в большинстве случаев, либо что-то очень медленное типа NLTK, либо кошмар интеграции типа spacy, где и питон, и cyton, и C. Ну и смысла особого тащить их нет. Математику там делают свою. Тащить их только ради матриц - это перебор

https://t.me/natural_language_processing - если кому интересно про NLP

В части современного тренда с нейросетями на Julia, по сути, только одна готовая библиотека - https://github.com/chengchingwen/Transformers.jl . Но по сравнению с тем, что на питоне предлагают, у нас задержка. Слишком мало народу вовлечено в это дело

Лично мне не хвататает роудмапа или общей картинки что и на чем решают и где задачи лингвистики, а где вычислительные. Я что-то для себя пытался составить из статей, но пока недостаточно погрузился.

Это лучше, чем начинать со статей

Москва, 2011

😞

За прошедшгие 9 лет очень много чего успело поменяться.