Size: a a a

2019 October 06

EY

Eto Ya in Scrapy
Bulatbulat48
В прикрепленном сообщении есть ссылка на faq там есть инфа в разделе как спарсить js
Да, я уже почитал, спасибо
источник

EY

Eto Ya in Scrapy
Вы чёт самое дружное комьюните )
источник

B

Bulatbulat48 in Scrapy
Стараемся ;)
источник

DD

Danil Denysenko in Scrapy
Ого, я не заметил как тут 276 человек появилось)
Помню 100ке радовались)
источник
2019 October 07

s

serhii in Scrapy
Ребята, привет. Как дела?

смотрите i.load_item()  возвращает наши спарсенные данные, верно?
и мы можем поставить флаг -o и сохранить вывод в data.csv

окей.

а если я хочу прописать 2 условия.
1 по дефолту сохраняет в этот файл, а другое условие, например, в коде
if not data:
   и этот i.load_item() нужно сохранить в другой CSV файл, как это сделать?

не подскажите?
источник

s

serhii in Scrapy
ipdb> z                                                                                                                                                         
{'a': 'aaaa',
'b': 'bbbb'}
ipdb> type(z)                                                                                                                                                  
<class 'hm.items.hmitem'>

вот как его сохранить в нужный мне файл, чтоб оно само красиво поклалось в нужные колонки?
источник

К

Кирилл in Scrapy
serhii
Ребята, привет. Как дела?

смотрите i.load_item()  возвращает наши спарсенные данные, верно?
и мы можем поставить флаг -o и сохранить вывод в data.csv

окей.

а если я хочу прописать 2 условия.
1 по дефолту сохраняет в этот файл, а другое условие, например, в коде
if not data:
   и этот i.load_item() нужно сохранить в другой CSV файл, как это сделать?

не подскажите?
Привет, тогда тебе нужно делать свою реализацию записи в csv, насколько я знаю scrapy возможности разделять вывод, не дает
источник

s

serhii in Scrapy
serhii
ipdb> z                                                                                                                                                         
{'a': 'aaaa',
'b': 'bbbb'}
ipdb> type(z)                                                                                                                                                  
<class 'hm.items.hmitem'>

вот как его сохранить в нужный мне файл, чтоб оно само красиво поклалось в нужные колонки?
вот поэтому я сразу и написал этот вопрос =)
источник

B

Bulatbulat48 in Scrapy
load_item()` возвращает словарь и все.
источник

s

serhii in Scrapy
ну не словарь ведь =)
источник

B

Bulatbulat48 in Scrapy
а чтобы изменить создание файла, то вроде тут https://github.com/scrapy/scrapy/blob/master/scrapy/pipelines/files.py
источник

B

Bulatbulat48 in Scrapy
serhii
ну не словарь ведь =)
ага, объект. Но можно и словарь отдавать.
источник

s

serhii in Scrapy
источник

К

Кирилл in Scrapy
Решение знаю, но сейчас нет времени основательно описать, может чуть позже)
источник

s

serhii in Scrapy
Кирилл
Решение знаю, но сейчас нет времени основательно описать, может чуть позже)
ну это не горит пока что =)
источник

B

Bulatbulat48 in Scrapy
а зачем скрапи?
источник

s

serhii in Scrapy
Bulatbulat48
а зачем скрапи?
хороший вопрос.
наверное причина в том, что все файлы в одном скрапи проекте и из-за частоты работы со ➜ scrapy list хочется, чтобы это лежало там.
источник

М

Мак in Scrapy
есть же прям под скрапи либа селениума
слишком много она не умеет, например через прокси не работает, но основные действия позволяет сделать.
и сплеш наоборот легче селениума
источник

s

serhii in Scrapy
Мак
есть же прям под скрапи либа селениума
слишком много она не умеет, например через прокси не работает, но основные действия позволяет сделать.
и сплеш наоборот легче селениума
докер запускать аж нужно - это легче?
источник

М

Мак in Scrapy
источник