D
treq асинхронно, но ты его из коллбэка нормально ждать не сможешь
А вот это почему, кстати?
Size: a a a
2020 December 01
AR
а как?
AR
какой await в колбэке
AR
ну т.е. оно работать будет, и даже проца не сожрёт как requests
AR
но поскольку ему там делается ожидание всех результатов перед их обработкой, это всё-таки не совсем то
AR
да
AR
просто я не люблю этот костыль, которым сейчас сделан await в колбэках :)
AR
неспроста потому что некрасивый хак
AR
ещё и поведение меняет
AR
если без asyncio реактора можно обойтись - лучше наверно обойтись, так слоёв меньше
AR
если он уже подключен, это treq будет в asyncio заворачиваться, а не наоборот, тогда лучше аио
DO
Оказалось, что почему-то USER_AGENT из settings.py не пробрасывается модулем scrapy-selenium в сам селениум.
DO
Ну, потому что там открывается реальный user agent)
ну и в этом реальном и написано "я хедлес браузер, баньте меня"
DO
в итоге эта магия в settings.py помогла. Но хотелось бы, чтобы это из коробочки шло.
DO
в итоге эта магия в settings.py помогла. Но хотелось бы, чтобы это из коробочки шло.
потому что так не получится, например, если я захочу юзать scrapy_fake_useragent