Ок! Спасибо! Быду смотреть и рыть дальше! 👍🏻🤝

к сожалению, самостоятельно не получилось..
проблема заключается в следующем. файлы прочитались, но в них посреди текста в листе стоят "\n" (см. на скрине).
пробовал их убрать при добавлении в лист с помощью
for line in file:
   line.replace("\n", " ")
но тогда летит вся структура листа, так как он каждую новую строку заключает в отдельные "".
кто нибудь знает вариант, как убрать знаки переноса строки из середины текстов без разбиения этих текстов на разные элементы листа?
спасибо

всмысле убрать? тогда все файлы станут одной строкой

но вообще ‘’.join(x.strip() for x in f.readlines()) что-то такое

хм
я этим начал заниматься, потому что tf-idf иначе считает слова вместе с "\n" и это будет корявый feature extraction

а, надо на слова разбиить?

что в листе должно быть элементом?

план примерно такой:
элемент листа - текст.
тексты должны быть разбиты на отдельные слова, я их потом в CountVectorizer засуну

никогда не работал с самопальными датасетами, вот и корячусь

текст разбитый на слова это что, строка со словами через пробел?

да

хотя, похоже, это не понадобится

прошу прощения

ну если понадобится то держии пиздец

for fname in fnames:
    with open(fname) as f:
        lst.append(' '.join(' '.join(x.strip().split()) for x in f.readlines()))

в датасете 20newsgroups есть символы переноса строк и всё нормально работает

for fname in fnames:
    with open(fname) as f:
        lst.append(' '.join(' '.join(x.strip().split()) for x in f.readlines()))

ух бля)

спасибо еще раз

for fname in fnames:
    with open(fname) as f:
        lst.append(' '.join(' '.join(x.strip().split()) for x in f.readlines()))

+

yasnohmuro (0) увеличил карму alext18 (506.52)

🏆Самые почётные люди группы «Сообщество Python Программистов»:

⭐entressi (673.72)
borntohack (544.21)
k4m454k (543.98)
alext18 (506.52)
Rud356 (392.18)
bomzheg (334.28)
s0hard (166.08)
bbclub  (144.57)
let45fc (105.68)
bpro_off (105.61)
Подробнее..