A
Size: a a a
2021 November 24
МС
Кажется то что нужно. Спасибо!
A
там есть и на spider (nlq 2 sql queries dataset). но боюсь все же это оверинжиниринг.
если заведете в ок, дайте знать)
если заведете в ок, дайте знать)
A
[[30112], [34063], [15545, 1952], [21928, 12, 5406], [42351, 661]]
Вот такой вид имеет массив bad_words_id который подаю в модель
Вот такой вид имеет массив bad_words_id который подаю в модель
МС
IG
Не выглядит, как что-то криминальное
В доках советуют делать вот так: tokenizer(bad_word, add_prefix_space=True).input_ids, возможно проблема именно в add_prefix_space
В доках советуют делать вот так: tokenizer(bad_word, add_prefix_space=True).input_ids, возможно проблема именно в add_prefix_space
IG
потому что
##wordи
wordвсё-таки разные токены
A
Да вот ругается если add_prefix_space добавить. Got an unexpected keyword argument 'add_prefix_space'
IG
Можно на входе prefix_space добавить. Руками, tokenizer(" " + bad_word).input_ids
A
prefix space это пробел?
IG
Ну да, префиксный пробел. Буквально
A
Спасибо большое. Помогло!
N
https://ws.clarin-pl.eu/paragraphs.shtml
У нас такой инструмент есть, проверяла на русском – более-менее работает. На какой лицензии надо?
У нас такой инструмент есть, проверяла на русском – более-менее работает. На какой лицензии надо?
SS
О, это интересно
SS
Исходники, так понимаю, недоступны, если хочется локально протестировать
N
Спрошу, но завтра)
I
интересно, а какие варианты по лицензии возможны?
N
Ну я к тому, для чего оно вам – коммерческое или нет и всё такое
I
для коммерческого использования)
N
А напишите в лс, я спрошу тимлида завтра