Size: a a a

2021 May 31

DA

Danila Artyukhov in Scrapy
Секунду
источник

МС

Михаил Синегубов... in Scrapy
тока не надо сюда простынь бросать
источник

МС

Михаил Синегубов... in Scrapy
либо через пастебин какой, либо чере гист
источник

DA

Danila Artyukhov in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
2021-05-31 20:40:32 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'tpb.party': <GET https://tpb.party/search/hindi/1/99/200>
источник

AR

Andrey Rahmatullin in Scrapy
я ж сказал читай лог
источник

(

(o_O) in Scrapy
А filtered потому что
2021-05-31 20:40:27 [py.warnings] WARNING: C:\Users\Danila\AppData\Local\Programs\Python\Python38\lib\site-packages\scrapy\spidermiddlewares\offsite.py:65: URLWarning: allowed_domains accepts only domains, not URLs. Ignoring URL entry https://tpb.party in allowed_domains.
источник

AR

Andrey Rahmatullin in Scrapy
хых
источник

DA

Danila Artyukhov in Scrapy
Ага) Ну хорошо. Спасибо большое
источник

G

Georgiy in Scrapy
Тут такого тоже нет
источник

AV

Anatoli Valenda in Scrapy
Всем ку. Подскажите, не могу нагуглить. Как с помощью pyppeteer скачать файл? В данном случае, открываю pdf файл  в стандартном приложении(которым хром просматривает эти файлы). Вот и вопрос, как его скачать?
источник

A

Alex in Scrapy
источник

AV

Anatoli Valenda in Scrapy
блин, косяк в том, что мне нужно это сделать через api pyppeteer
источник

(

(o_O) in Scrapy
А httpResponse.buffer() не подойдет?
источник

A

Alex in Scrapy
По-моему, поведение на реакции определенных типов файлов можно в профиле настраивать. Но для этого нужно использовать постоянный профиль, а не генерируемый каждый раз новый.
источник

A

Alex in Scrapy
У Firefox, например, это настраивается здесь 👆
источник

AV

Anatoli Valenda in Scrapy
ладно, пороюсь еще. Если придумаю что - отпишусь
источник

(

(o_O) in Scrapy
псевдокод:
const pdf = await page.goto(pdfUrl);
const buffer = await pdf.buffer();
await writeFileAsync(filename, buffer);
источник

AV

Anatoli Valenda in Scrapy
вы не поверите, но походу в папитире тупо нет функции сохранения пдф или файлов по URL. Все варианты это какие-то лютые костыли с заменой хидеров и прочее. Есть вариант установить флаг, чтобы pdf не открывался, а сразу сохранялся, но этот флаг можно поставить только вручную. Это пипец, господа. Хоть ты сам открывай исходники и дописывай недостающий функционал. Не понимаю почему не добавили аналог SaveAs.
источник

(

(o_O) in Scrapy
Все там есть. Чем мой способ не подошел?
источник