SP
\s не гарантирует наличие \n
Что же, повторюсь, в моем случае рег работает, текст бьется на абзацы
Size: a a a
2019 December 28
A
а если бы там было \n\t?
A
я бы предложил просто побить на строки по \n, а там уже принимать решения об "абзац кончился, начался новый" либо по наличию пустой строки, либо по тому, что строка начинается с пробельного символа
SP
а если бы там было \n\t?
Ну, повторюсь, именно поэтому я хочу уйти от regex (не хочу об этом думать, есть поинтересней задачи в проекте)- и возвращаюсь к вопросу как можно искать параграфы без regex
V
а если бы там было \n\t?
Можно все \t в самом начале заменить на ' '*4
2019 December 29
D
класс, теперь в gpt-2-simple подкатили возможность файнтюнить 774М+
D
надеюсь вам ещё не пофиг
D
а то ведь "вот же пристал со своим gpt-2-simple"
D
и вопрос с нормальными корпусами ещё в силе
AZ
и вопрос с нормальными корпусами ещё в силе
А что за вопрос ?
D
где достать нормальные txt корпуса в открытом виде без помощи костыльных скриптов?
V
Вряд ли такое вообще есть, ибо написать скрипт это дело в худшем случае пол часа-час
V
Да и txt бывают с разным содержимым и разметкой, каждому не угодить
D
хотя я уже начинаю задаваться вопросом "а стоит ли вообще файнтюнить?"
V
Ну, отказываться от реализации каких-то своих идей просто потому что вы не смогли найти ничего готового (что б взять, добавить пару строк кода, покрутить пару параметров и получить крутой результат) довольно глупо, имхо)
D
не, я не про то, я про использование обученной модели как есть
V
И к тому же сейчас у всех корпоративы и нг, вряд ли даже те, кто может помочь, будет это делать, ибо лень и все гуляют)
D
у меня вот блокнотик
https://colab.research.google.com/drive/14I8G1uTUxvUaSF9BG0gaVr4odg5ewYRF,
мне надо запилить:
- интерфейс для I/O
- генерацию на input пользователя
- долговременную/коротковременную (кэш) память
https://colab.research.google.com/drive/14I8G1uTUxvUaSF9BG0gaVr4odg5ewYRF,
мне надо запилить:
- интерфейс для I/O
- генерацию на input пользователя
- долговременную/коротковременную (кэш) память
D
я лично сам, повторюсь, особо без понятия как это реализовывать
D
И к тому же сейчас у всех корпоративы и нг, вряд ли даже те, кто может помочь, будет это делать, ибо лень и все гуляют)
ну, что уж, надо было раньше реагировать когда спрашивал в первый раз