я его и использую

так стоп, это ж dialogpt

он же строго для диалогов

сконверть пожалуйста от кефирьича gpt-2

о. я еще придумал про культуру общения.
обычно оно как: либо бан на денек, либо перманентный. но это слишком радикально. а можно сделать слабое ограничение, но "прогрессирующиее".
за переход границ ограничиваться количество сообщений в минуту: раз в 1/10/60 минут. такое и автоматизировать проще, потому что FP будет неприятно влиять, конечно, но не кардинально. модератор, конечно, тоже нужен будет, чтобы контролировать, но не фулл-тайм.

оно разве не уже https://github.com/mgrankin/ru_transformers/blob/master/run_generation.py#L29

см. выше про токенайзер через жопу

как вариант ещё можно конвертировать GPT-2 в длинный https://colab.research.google.com/github/allenai/longformer/blob/master/scripts/convert_model_to_long.ipynb

а вообще конечно замечательным бы был вариант GPT-2  на zero-/few-shot
https://huggingface.co/zero-shot/

Господа, а кто подскажет актуальную библиотеку ML для common lisp?

Если говорить про ML на лиспе то можно конечно взять Keras/Tensorflow, и дергать их через тот же py4cl (common lisp) или hylang (реализация лисп на питоне), но хочется чего-то нативного

@aragaer О, какие люди. Напомни ты больше по CL или схеме? :)

в данный момент пишу на хаскеле. А между схемой и cl особо не определился. На компе стоит то и другое

Не подскажите есть ли метод в  word2vec, который на вход получает слово, а на выходе выдает список слов, которые чаще всего с ним коррелируют по контексту?

https://radimrehurek.com/gensim/models/keyedvectors.html#gensim.models.keyedvectors.WordEmbeddingsKeyedVectors.similar_by_word Да, конечно. К примеру в gensim

Благодарю!

так вы и не сказали ничего про конвертацию/адаптирование. Стоит ли ждать?

Добрый день! Коллеги, использовал transformers.BertModel для классификации. Сделал эмбединги предложений, забрал от туда [CLS] и отправил в логистическую регрессию (A Visual Guide to Using BERT for the First Time). Вроде все хорошо, теперь хочу сделать Fine-tuning модели и повторить эксперимент. В статьях которые я нашел, тонскую настройку делают для модели BertForSequenceClassification. Есть ли примеры FT для BertModel? Или лучше изначально работать c BertForSequenceClassification?

https://github.com/uzaymacar/comparatively-finetuning-bert

вроде что-то похожее

спасибо, буду изучать. Вот бы книжку какую по Bert'у