хранить данные на диске и в датасете подгружать, как вариант

если не принципиально конду - точно работающий вариант - питон3.6 и venv. про конду не знаю(

DistributedSampler вероятно сэмплит рандомно, хотя это надо изучить. Да и в таком случае будет как понимаю не асинхронно.
Но вообще да, данные можно разбить на крупные, но не огромные куски, сделать еще один цикл обхода по кускам, а каждый кусок подгружать с диска.

Привет всем, подскажите, пожалуйста, есть ли какие-то готовые решения (или просто идеи), как выделять разную информацию не просто из текста, а из html-кода (с русским текстом внутри), то есть специфика, как минимум, в том, что разные сущности обычно находятся в разных html-блоках

Можно дообучить готовый  BERT на небольшом  html датасете, заменив некоторые пустые токены в словаре на html теги.

Вы совершенно зря не хотите прислушаться к тому, что пишет @yuri_baburov . Он говорит вам правильные и важные вещи. За последние пол века были созданы тонны формализмов, позволяющих описать язык. LG - это самый простейший из них, игрушечный. Его даже в книжках для начинающих не упоминают. Там с LL и LR парсеров принято начинать.
Вы просто ради спортивного интереса напишите свой парсер Русского языка. В Русском языке примерно 30 основных правил. Это - проект выходного дня.

Есть ли варианты как проверить предложение на морфологическую согласованность? Например, детектировать наличие ошибки в предложении "мама мыла рама" итп?

да, я плюсую, мне тоже непонятен такой фанатизм от конкретного не самого удачного формализма

вообще, LM этим и занимается в том числе. если предложила исправление / низко оценивает вероятность предложения — значит, оно несогласованное.

В общем, логично, но, казалось бы, тут что-то rule-based должно надежно работать

На глаз лосс gpt неплохо коррелирует с моим пониманием хорошего документа (с точки зрения согласованности и грамматики), но тут бы норм исследование провести

очень длинный велосипед и очень большие списки

rule-based скажет вам, что “мыла” - это от существительного среднего рода “мыло”.

вообще, сам по себе запрос @akolonin понятен. но я бы его решал другим способом.
я когда-то предлагал поверх вероятностей парсера сделать фильтрацию "запрещённых" с точки зрения грамматики вариантов. вот такое бы автору сделать.
в spacy увы такое глубоко зашито (хотя и можно трогать), может, где-то в других либах можно в этом ковыряться.
например, запретить verb -> (nsubj) -> subj для определённых глаголов, или зафиксировать варианты морфологии для определённых слов (в spacy сейчас даже этого нет, морфология там не влияет на синтаксис — и это почти не ухудшает качество синтаксиса, но огромная экономия на времени работы парсера и количестве размечаемых данных).
но придётся тогда исходить из логики "всё, что не запрещено, то разрешено". впрочем, можно будет для слова сказать "варианты могут быть только такие" и запретить все остальные.

А что за книжки например? Есть на русском?

IMHO, вот эта вот достаточно толковая: "An Introduction to Language Processing with Perl and Prolog"
Единственно, там практически все на прологе. С другой стороны, это только плюс - поможет с прологом разобраться.
Были еще интересные, но надо искать.
На русском языке есть масса хорошей литературы по лингвистике.

Если я правильно понял - для формирования формализованной документации именно такой подход рассматриваем. Если не интересует «богатство» языка, а безошибочность представления событий на естественном языке - то даже в рамках генеративных грамматик решается с использованием nltk именно так

а вы придумали для себя реализацию уже?

Нет)  То есть в нашем случае это бесконечный процесс.

но начали использовать данную технологию уже? и не очень понял пока, что за документация у вас.