VF
ой, я имел в виду вычислять в датасете, да. даталоадер переписывать не надо. можно, например, в ините подавать на вход тексты в сыром виде, а в getitem'е уже добавлять токенизацию и паддинг
Size: a a a
2020 July 10
VF
и аттеншен маск вычислять
A
Попробую👍
v
What language is this... Cnt u guys talk in English so that everyone could understand.. 🙁....
v
Hope it's btr to leave the group if I dnt knw the language... ... Ryt guys
v
😅
SZ
Maybe it's going to be your new NLP task: to write a translation algorithm that understands that "Klingon" language
VF
Учи олбанский!
t
Учи олбанский!
нужен корпус текстов на олбанском
v
Maybe it's going to be your new NLP task: to write a translation algorithm that understands that "Klingon" language
🤣... Happy that I found smone who could explain what language this is
v
And frnd.. I hope that's not a big deal
v
Wow... I think its an akita with u... 😍
SZ
vy
Wow... I think its an akita with u... 😍
It's a Shiba actually (the famous Doge), but you were almost correct: Akita is like a bigger Shiba, they are from the same family and country (Japan)
v
Yah... Anyhow that dog is not in my country... I had only seen him from the Japanese flm hachiko 🤣... Any how I appreciate your time to correct me
2020 July 12
A
Есть ли у кого-то датасет на русском языке размеченный для восстановления пунктуации?
FF
Есть ли у кого-то датасет на русском языке размеченный для восстановления пунктуации?
Можно же просто взять текст и удалить из него пунктуацию
M
Есть метод проверить язык текста? Какая нибудь библиотека или что-то такое
FF
Есть метод проверить язык текста? Какая нибудь библиотека или что-то такое
https://fasttext.cc/docs/en/language-identification.html Можно начать с этого
K
langdetect еще
M
Ага, спасибо