remove_tags где-то взял

мда

ну ок, успехов

а, или ты про \n в репр дикта? :))))

from w3lib.html import remove_tags

да

ну они и к тексту применяются тоже, не понятно

не применяются

потому что "их" нет

нет никакого " вставляет в значения в словари '\n'" как мы видим

А почему тогда, когда я использую обычный словарь, то text выводится в строчку. А если я использую ItemLoader(), то так. Ну если он не меняет сами значения, то мне норм

это неправда

дай пару айтемов

неочищенных от этих "волшебных" концов строк

ну и чем это вообще печатается? скрапишным логгером?

print()

import unicodedata


import scrapy
from itemloaders.processors import TakeFirst, MapCompose
from w3lib.html import remove_tags


def replace_more(value):
   value = value.strip().replace(u'\r', u'').replace(u'\n', u'').replace(u'\t', u'')\
       .replace(u'\u200c', u'').replace(u'\u200b', u'')
   value = unicodedata.normalize("NFKD", value)
   return value


class CompetitorsNewsItem(scrapy.Item):
   from_site = scrapy.Field(output_processor=TakeFirst())
   published_date = scrapy.Field(output_processor=TakeFirst())
   title = scrapy.Field(input_processor=MapCompose(remove_tags, replace_more), output_processor=TakeFirst())
   href = scrapy.Field(output_processor=TakeFirst())
   text = scrapy.Field(input_processor=MapCompose(remove_tags, replace_more), output_processor=TakeFirst())
   is_match = scrapy.Field(output_processor=TakeFirst())
   ti_id = scrapy.Field(output_processor=TakeFirst())

или так

выведи в JSON  и посмотри что там, или в csv