opencorpora вроде вполне золотая, если сконвертировать теги

там всё ещё только морфология и POS?

@kirdin и пишет в https://habr.com/ru/company/sberbank/blog/418701/, что даже теги тяжело (если вообще возможно) конвертировать, и что у них не получилось.
ну, мне кажется, надо какой-то механизм хорошей автоматической конвертации придумывать или ещё лучше две разные головы для тренировки разных корпусов делать. в spacy вроде не очень легко network surgery делать, но я как-нибудь покопаю.

а, кажется угу(

А какие проекты уже есть?

В духе "делаю бота/навык для {любая приятная или полезная фигня}".  
В прошлый раз, например, одна команда делала ассистента для поваров фастфуда; другая - бота-дашборд (рассказывающий про значения всяких метрик); ещё одна - переносила в бота какую-то ролевую игру.

насколько сильно связано мышление и язык?

Я бы приджойнился к кому-то, если заранее примерно понятно, что ботать

Знаю основные штуки в НЛП

Ботов никогда не писал

Проекты можно в чате обсудить https://t.me/botcamp2019
Ботную матчасть в целом - можно посмотреть https://www.notion.so/cointegrated/8323b225508842b184a14d295f3d0074

Отлично! Вольюсь :)
Как писал ВК, давно уже хотел

Друзья, помогите, пожалуйста, осилить сборку токенов в numpy 😬 Я с ним толком не работал и никак не могу сообразить как правильно сделать.
Суть в том, что есть конвертация датасета в в npz, но там чтение файла идёт не построчно, а целиком в память. Я хочу сделать построчное чтение, но никак не могу сообразить как при обходе строк получить тот же итоговый результат.

Пример выложил тут:
https://colab.research.google.com/drive/17Ljr2XD2WF2p6FUO3IcTKKYvsAMijh5c

если я некорреткно как-то задал вопрос - пните меня в нужном направлении, а то совсем ничего по теме не могу найти, почти что рандомно тыкаю сейчас(

Вы хотите читать .npz файл построчно, но что бы в результате получился такой же массив, как при чтении этого файла сразу за раз?

не совсем )
сейчас логика такая: читается файл датасета целиком (где записаны построчно предложения), затем они прогоняются через энкодер и конвертируются в numpy массив, а потом записыаются в npz

я хочу читать файл датасета построчно, прогонять каждую строку энкодером отдельно и конкантеновать их через numpy, а потом точно также записать результат в npz

трабл как раз в том (в колабе видно это), что в результате получаются разные npz файлы (содержимое test_2 отличается от reference)

Пока не публиковал, возможно в будущем оформлю.

Ну и ещё подозреваю на своих данных все могут сильно просачиваться по качеству. Есть какой-нибудь тестовый датасет кроме тех четырёх из репозория UD?

Я тестировал только на ru_syntagrus-ud-test.conllu

А лучше этого датасета все равно пока ничего нет, так что публикуйте смело

Ну, с одной стороны готового ничего лучше нет, с другой стороны получается сильно смещённое сравнение, всё же из одного датасета сплит делали.

Мало ли тут всё-таки знают, хотя оффтоп. Про определение используемой модальности в тексте.