Size: a a a

2020 November 07

8

85345 in Scrapy
или это мало?
источник

К

Кирилл in Scrapy
Это не так работает. Есть специальная настройка для порядка и какие именно поля для csv https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-export-fields
источник

S

SoHard 🎄 in Scrapy
Как такое может быть?
локально
в постмене сервер отдаёт json, в скрапи json
на сервере гугла он отдает xml хотя всё одинаково, с теми же хедерами
источник

iz

iz zi in Scrapy
тут писали как то что перезапись в фалй не работает, так и не заработала?)
источник

И

Илья in Scrapy
Пацаны, мы же куки отдельно от хедерсов передаём? А как это записать в коде (data=?) ибо метода cookies нет
источник

К

Кирилл in Scrapy
Илья
Пацаны, мы же куки отдельно от хедерсов передаём? А как это записать в коде (data=?) ибо метода cookies нет
В доках всё есть
источник

S

SoHard 🎄 in Scrapy
Илья
Пацаны, мы же куки отдельно от хедерсов передаём? А как это записать в коде (data=?) ибо метода cookies нет
scrapy.Request(..., cookies=cookies)
источник

И

Илья in Scrapy
А Json спокойно передать можно??
источник

S

SoHard 🎄 in Scrapy
SoHard 🎄
Как такое может быть?
локально
в постмене сервер отдаёт json, в скрапи json
на сервере гугла он отдает xml хотя всё одинаково, с теми же хедерами
даже с голыми хедерами и куками по разному
источник

S

SoHard 🎄 in Scrapy
Илья
А Json спокойно передать можно??
там же написано
источник

S

SoHard 🎄 in Scrapy
DICT
источник

S

SoHard 🎄 in Scrapy
LIST OF DICTS
источник

И

Илья in Scrapy
👌🏻
источник

8

85345 in Scrapy
Народ подскажите нормальную рускоязычную документацию на scrapy
источник

AR

Andrey Rahmatullin in Scrapy
Плохо без английского программировать
источник

iz

iz zi in Scrapy
как адекватно сохранить json поле в csv выдаче?
если сохраняю как dict то получаю
{'key':'value'}
- и после json.loads работает не корректно, если сохраняю как str(json.dumps) получаю
{""key"":""value""}
источник

iz

iz zi in Scrapy
свой пайп только?
источник

AR

Andrey Rahmatullin in Scrapy
не юзать CSV
источник

iz

iz zi in Scrapy
хорошая идея, но нужно csv)
источник

AR

Andrey Rahmatullin in Scrapy
тогда json.dumps
источник