Телеграмм чат группы natural_language

Size: a a a

Natural Language Processing

2718 membersпожаловаться на группу

2021 May 13

Sasha in Natural Language Processing

ну да, как максимально правильно я точно не могу сказать, но когда я пробовал, результат был очень похож на адекватный

источник

15:56пожаловаться #1

Valera Sarapas in Natural Language Processing

Может есть идея, как поступить?
Есть облако с движком для моделей в формате onnx. Я обучил BertForSequenceClassification и задеплоил. Но сейчас не понимаю как сформировать тенсор и переслать его через API сервиса для получения ответа с предиктином.

источник

16:24пожаловаться #2

Ruslan Sabirov in Natural Language Processing

Добрый день!
Как можно в natasha.Doc изменить один из токенов?

doc = Doc(text)
doc.segment(segmenter) 
doc.tokens[0].text += '1'

После выполнения этого кода doc.tokens меняется, а вот doc.text нет. Как обновить и doc.text тоже?

источник

16:48пожаловаться #3

Valera Sarapas in Natural Language Processing

Получается я должен переслать torch.Tensor. А как это сделать не понимаю

источник

17:16пожаловаться #4

Andrey in Natural Language Processing

что за облако?..

источник

17:17пожаловаться #5

Valera Sarapas in Natural Language Processing

Watson Machine Learning

источник

17:23пожаловаться #6

Andrey in Natural Language Processing

экзотика. не пользовался. но в доках можно пишут и через json.

give it a try. https://www.ibm.com/docs/en/cloud-paks/cp-data/2.1.0?topic=deployment-watson-machine-learning-services#wlmservices__wmlapi

Ibm

Watson Machine Learning services

Watson Machine Learning provides a set of services that you can use to create, store, deploy and do predictions on machine learning models.

источник

17:28пожаловаться #7

Valera Sarapas in Natural Language Processing

Да, надо сформировать json такого видаЖ
{ "input_data": [{ "fields": [ "message" ],
"values": [[ "my tokens" ]]
}
]
}

источник

17:31пожаловаться #8

Valera Sarapas in Natural Language Processing

но я вот не понимаю как токины нужно передавать

источник

17:32пожаловаться #9

Valera Sarapas in Natural Language Processing

Локально работает такой код
inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

источник

17:33пожаловаться #10

Valera Sarapas in Natural Language Processing

вместо "my tokens" я должен переслать что-то, что сойдет вместо **inputs

источник

17:35пожаловаться #11

Andrey in Natural Language Processing

щяс дам туповатый совет, но чисто для посмотреть сойдёт. F12 в браузере, вкладка network, и посмотрите payload.

как бы то ни было, тащить токенайзер во фронт какая-то так себе история. должен быть какой-то пайплайн-workaround думаю

источник

17:40пожаловаться #12

Alex Orgish in Natural Language Processing

Для onnx так работать не будет. Нужно передавать те параметры, которые были указаны в аргументе input_names при вызове torch.onnx.export.
Для берта это будет скорее всего input_ids, attention_mask, token_type_ids

источник

17:40пожаловаться #13

Valera Sarapas in Natural Language Processing

payload я знаю как выглядит. Я его выше привел. но я не понимаю как туда torch.Tensor записать

источник

17:43пожаловаться #14

Valera Sarapas in Natural Language Processing

я при генерации onnx в качестве входа вот такое использовал:
x = torch.ones(1, 128, dtype=torch.int64).to(device)

источник

17:45пожаловаться #15

Andrey in Natural Language Processing

никак