AБ
Size: a a a
2020 October 19
AБ
А почему действительно iframe может быть загружен, но не всегда доступен?
A
хочу сделать мидлвар вейбек машин,
2020-10-19 12:05:43 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
`
class WaybackMiddleware(object):но на таком после пуска зависает скрейпи
def process_request(self, request, spider):
if 'web.archive.org' not in request.url:
new_url = 'http://archive.org/wayback/available?url=' + request.url
request = request.replace(url=new_url)
return request
2020-10-19 12:05:43 [scrapy.middleware] INFO: Enabled item pipelines:2020-10-19 12:05:43 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
['crawlers.pipelines.SourceDownloaderPipeline',
'crawlers.pipelines.SourceExampleProfilesPipeline']
2020-10-19 12:05:43 [scrapy.core.engine] INFO: Spider opened
2020-10-19 12:05:43 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
`
AR
читай что надо возвращать из методов мидлварей
A
просто делаю return request и оно висит (
AR
читай что надо возвращать из методов мидлварей
A
а может кто носом прям в ошибку? потому что просто меняю адрес с вейбек на что-то другое так все работает
AR
изи
AR
If it returns a Request object, Scrapy will stop calling process_request methods and reschedule the returned request. Once the newly returned request is performed, the appropriate middleware chain will be called on the downloaded response.
AR
а ты это так и не прочитал
AR
ну или прочитал, но не понял, но нам этого неизвестно
AR
у тебя реквест бесконечно отправляется обратно в process_request потому что условие кривое
AR
ну и если бы оно было прямое, всё равно была бы херня скорее всего
A
а как правильно сделать?
AR
что именно?
AR
для начала ты понимаешь что такой иф ведёт к бесконечному циклу даже когда в целом логика правильная?
A
что с ИФ что без, результат один же
A
def process_request(self, request, spider):
new_url = 'http://archive.org/wayback/available?url=' + request.url
request = request.replace(url=new_url)
return request