AR
чот я про сайтмэп забывать стал
Size: a a a
2020 March 20
VB
Как мне в экспортере изменить путь для сохранениея файла
AS
Любой парсинг должен начинаться с изучения robots.txt сайта!) Там можно найти много интересного.
AR
Как мне в экспортере изменить путь для сохранениея файла
ээ, там в
__init__ же всё делаетсяVB
Я с этим совсем запутался
VB
Можешь тыкнуть носом?
VB
self.uri =?
AR
а, в релизах всё по-другому немножко
AR
там в open_spider видимо
AR
хотя везде в open_spider
СТ
Тоже об этом думал
если в этом есть какая-то потребность, можно задуматься )
AR
ну или менять сам FEED_URI, т.е. self.urifmt
VB
from scrapy.exporters import CsvItemExporterТобишь это должно работать?
from scrapy.utils.project import get_project_settings
class CsvCustomExporter(CsvItemExporter):
def __init__(self, path, *args, **kwargs):
settings = get_project_settings()
dir_path = settings.get(name='FEED_DIRECTORY')
uri = settings.get(name='FEED_URI')
kwargs['delimiter'] = '|'
kwargs['fields_to_export'] = settings.getlist(name='FEED_EXPORT_FIELDS')
self.urifmt = dir_path + '/' + uri
super(CsvCustomExporter, self).__init__(*args, **kwargs)
VB
scrapy crawl top30 -s FEED_DIRECTORY='/home'если так запустить?
AR
а ну блин
AR
я имел в виду экстенжен (и ссылку давал на него), а не экспортер, да
VB
А в экспортер нельзя такое впихнуть?