AS
кстати!
Size: a a a
2018 July 09
AS
а как вы пишете тесты к scrapy спайдерам?
B
а как вы пишете тесты к scrapy спайдерам?
никак :)
AS
AS
я просто столкнулся с тем, что когда есть пяток скрейперов, которые надо каждый месяц запускать... как минимум один из них ломается потому что изменился сайт))
AS
и хорошо, если сразу заметишь
AS
а то бывало такое, что оно там уже насобирало миллион продуктов и тут мы замечаем, что чего-то критического нет 😅
AS
поэтому я использую Betamax и pytest чтобы мокать респонсы и генерировать тесты при помощи параметризации фикстур 😅
AS
думал может есть получше/попроще способ
AS
вдохновение черпал отсюда:
https://github.com/nobodyguy/jobot/blob/master/tests/spiders/test_jobsczSpider.py
но это вариант с unittest'ом
https://github.com/nobodyguy/jobot/blob/master/tests/spiders/test_jobsczSpider.py
но это вариант с unittest'ом
B
вдохновение черпал отсюда:
https://github.com/nobodyguy/jobot/blob/master/tests/spiders/test_jobsczSpider.py
но это вариант с unittest'ом
https://github.com/nobodyguy/jobot/blob/master/tests/spiders/test_jobsczSpider.py
но это вариант с unittest'ом
спс!
AS
про Betamax
AS
B
про Betamax
а что это в двух словах?
AS
библиотека от создателя requests, которая позволяет тестировать приложения, связанные с запросами к внешним вебсайтам без интернета 😄
есть несколько опций как оно будет себя вести - в общем случае либа записывает респонс в файлик и при следующем реквесте к сайту определяет изменился ли контент и обновляет респонс в файле если надо
есть несколько опций как оно будет себя вести - в общем случае либа записывает респонс в файлик и при следующем реквесте к сайту определяет изменился ли контент и обновляет респонс в файле если надо
B
круто!
AS
ага) есть еще очень похожая (и кажется более распространенная) vcr
AS
которая делает то же саоме