Size: a a a

2019 June 30

Y

Yurii in Scrapy
Написан на cython
источник
2019 July 01

DP

Dima Pislari in Scrapy
Привет, ребята! я использую scrapy. Я создал сложный парсер с цепочкой обратных вызовов, ответов и генерацией следующей url. Теперь мне нужно написать unit tests для него. Единственное, что я нашел, - это 2 ответа на stackoverflow (Betamax,  поддельные тестовые ответы). Я не представляю, как бы я мог использовать эти решения в моем случае. Может кто-нибудь объяснить шаг за шагом, как это делается, или дать ссылку на какую-либо документацию. Заранее большое спасибо!
источник

i

ildar in Scrapy
Yurii
Быстрее lxml заявлено в 5-30 раз
а ты у себя уже тестил?
источник

i

ildar in Scrapy
над будет попробовать
источник

i

ildar in Scrapy
Dima Pislari
Привет, ребята! я использую scrapy. Я создал сложный парсер с цепочкой обратных вызовов, ответов и генерацией следующей url. Теперь мне нужно написать unit tests для него. Единственное, что я нашел, - это 2 ответа на stackoverflow (Betamax,  поддельные тестовые ответы). Я не представляю, как бы я мог использовать эти решения в моем случае. Может кто-нибудь объяснить шаг за шагом, как это делается, или дать ссылку на какую-либо документацию. Заранее большое спасибо!
источник

i

ildar in Scrapy
хотя я не пробовал и это линк с того же ответа на стековере
источник

DP

Dima Pislari in Scrapy
Да, я видел
источник

DP

Dima Pislari in Scrapy
Но не нашел ни одного наглядного примера
источник

i

ildar in Scrapy
вот же в этой доке наглядный пример
источник

i

ildar in Scrapy
источник

i

ildar in Scrapy
обана, читаю release notes, не прошло и пары лет, как поправили появление лишней строки в csv под виндой похоже)
fixed issue with extra blank lines in .csv exports under Windows (issue 3039);
источник

DP

Dima Pislari in Scrapy
сейчас попробую, я видел тот пример но подумал что это абстрактно
источник

i

ildar in Scrapy
вот тут еще пара мыслей: https://github.com/okfn-brasil/diario-oficial/issues/44
источник

i

ildar in Scrapy
в духе тестить не код а просто валидатить как-то результаты выполнения паука
источник

DP

Dima Pislari in Scrapy
да, вот ребята на гите по делу говорят  я с ними согласен
источник

DP

Dima Pislari in Scrapy
большое спасибо за ссылки!
источник

Y

Yurii in Scrapy
ildar
а ты у себя уже тестил?
Тестил работу, а не время выполнения.
источник

Y

Yurii in Scrapy
ildar
а ты у себя уже тестил?
источник

Y

Yurii in Scrapy
Обработка warc файлов с common crawl
источник

i

ildar in Scrapy
он там на самом-то деле с bs4 сравнивает, ну и что, что bs юзает lxml унутре, все-равно он же медленный из-за оверхеда своего, вобщем, надо бы затестить по-сравнению со скрапиевским parsel
источник