SS
Довольно странно, но в opencorpora часто отсутствуют распространенные слова.
opencorpora импортировали из AOT, но что-то пошло не так …
opencorpora импортировали из AOT, но что-то пошло не так …
Size: a a a
2021 December 03
IK
А почему не выполнить замены регулярными выражениями?.. критерии вроде довольно простые?..
AB
Да, к этому и пришел. Но где-то в глубине души надеялся что у кого-то есть скриптик и это уже сделано))) В целом регуляркой давно не пользовался и сейчас надо будет снова восстанавливать...)
AB
Хотя конечно это наверное будет быстро
Eg
Подстава с дефисами, наверное
AB
Ну есть нюансы, но пока вижу что дефисы с пробелами с двух сторон, а переносы без пробелов. Даже без учета что есть много мест где не дефисы, а минусы
N
нууу как не убрать при этом слова, где дефис — это дефис
N
но вообще большой процент даже сверка со словарём большого корпуса даст, конечно
IK
Ну, их во-первых мало на границах строк, во-вторых можно выделить несколько типовых ситуаций (повтор слова, пол и полу) а в третьих если правильно готовили текст они раньше повторялтсь в начале следующей строки. Зависит от того, как распознано, конечно... Но все равно делали замену в Ворде, так что будет не хуже.
AB
В целом думаю, как можно минимизировать ручную работу. Книг не сильно много - 350 шт по 400 стр в среднем. Кроме того что описали больше ничего не нашел.
AB
Так что выбор не богат)))
2021 December 04
YB
Похоже на усилительную частицу (как в "страсть какой красивый"), а там точно второго значения с существительным нет? Они же по частотности в корпусе сортированы
AF
YB
import sys, re
text=open(sys.argv[1], 'rt',encoding='utf-8').read()
text = re.sub('(\w)-\s*\n(\w)', r'\1\2', text, re.S)
open(sys.argv[1], 'wt',encoding='utf-8').write(text)
использовать:
python3 script.py file.txt
text=open(sys.argv[1], 'rt',encoding='utf-8').read()
text = re.sub('(\w)-\s*\n(\w)', r'\1\2', text, re.S)
open(sys.argv[1], 'wt',encoding='utf-8').write(text)
использовать:
python3 script.py file.txt
AB
Благодарю Юрий все получилось🙏
2021 December 05
AB
Добрый вечер, Юрий и конечно же коллеги!
Вот вылез еще один такой момент.:
При чтении, конец линии (строки) заканчивается словом "их", а на следующей линии следует слово "топографических" и вот оно считывается слитно и все великолепие решения по удалению переносов портит. Вот такая беда)
Вот вылез еще один такой момент.:
При чтении, конец линии (строки) заканчивается словом "их", а на следующей линии следует слово "топографических" и вот оно считывается слитно и все великолепие решения по удалению переносов портит. Вот такая беда)
A
text = text.replace('\n', " ")должно помочь в начале
AB
Ура!))) Да, это же я '\n' удалил с заменой на пустую строку. Важно что надо это сделать раньше.
Благодарю!!!
Благодарю!!!
N
мой ответ, если что, был с учётом специфики моих файлов, а там иногда получаются просто уже не построчно тексты, а сплошняком (т.е. уже слеплены слова и строки), поэтому эти ложные дефисы-переносы встречаются в середине слова, там тупо по концам строк не пофиксить :)
а так да, если всё попроще, то эти решения должны помогать
а так да, если всё попроще, то эти решения должны помогать
AB
Да, действительно и такие местами встречаются.