Подскажите, пожалуйста, а этот код уже использует gpu или что-то надо переписать?

from transformers import FSMTForConditionalGeneration, FSMTTokenizer
mname = "facebook/wmt19-en-ru"
tokenizer = FSMTTokenizer.from_pretrained(mname)
model = FSMTForConditionalGeneration.from_pretrained(mname)
input = "Practically every film"
input_ids = tokenizer.encode(input, return_tensors="pt")
outputs = model.generate(input_ids)
decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)

Нет, это на CPU будет считать. Нужно добавить to(device) к модели и данным input_ids

При этом device = 'cuda'

Привет, посоветуйте совет: у меня наскраплен датасет текстов (в бд), в какой формат его лучше выгрузить в файл? Там только длинные тексты, никаких метаданных, csv или json кажутся избыточными, ну и текстов где-то миллион.

миллион это не много, если хотите читать пандасом, то в нем есть метод чтения из sql

Мне не про прочитать, я его на жесткий диск положить хочу, какой формат будет лучше? Миллион - не много, но когда там будет миллион {"text" : "...."} не несущих особого смысла...

В текстовый файл со строкой разделителем. После разделителя в его строке можно еще хранить метаинформацию, если надо

Звучит лаконично, благодарю

В длинных текстах может быть символ, который выберете для разделителя и в текстовом файле это превратится в фарш.

Выглядит удобным сохранить  в parquet. Его может читать/писать pandas и spark. Да и сжатие прозрачно включается.

Я милион документов (html) хранил в папочках по 1000 документов. Распихивал по id. Т.о. легко получить путь к файлу зная id. И с такой структурой ФС не тормозит.

В БД уже раскладывал по параграфам и предложениям.

у меня строка разделитель начиналась с длинной последовательности, которая один раз случайно генерилась. Вероятность, что она встретится в тексте стремится к нулю

Я в sexp храню. Формата универсальнее не придумано.

И что у тебя выступает в роли атома?

Атом

"На воздушном шаре" ;)

Вообще, в питоне можете взять просто модуль shelve . А кто-то берёт сразу sqlite.

Использую API для перевода текста. Хочу иметь дословный перевод (перевод каждого слова). Если переводить слово за словом, то выходит медленного (надо сделать n переводов). Можно перевести весь текст сразу, но как тогда заметчить переводы отдельных слов? Посоветуйте фреймворки, которые это делают

Можно попробовать разбить слова через \n и посмотреть чё выйдет

нашел - https://www.nltk.org/api/nltk.align.html