СТ
Гугл upsert
спасибо, погуглю )
Size: a a a
2020 April 01
CT
Helllo
CT
I have tried to crawl this url https://www.forexfactory.com. It returned no response. I also used scrapy shell command: scrapy shell https://www.forexfactory.com. It is still no luck. Is there something on this website prevent from crawling? Anyone can help? Thanks.
AC
Всем привет! Может подскажите хотя бы в каком направлении думать. 2 контейнера -
1-й со airflow и scrapy
2-й splash (splash_cont).
делаю из первого конта
но когда scrapy пытается идти по тому же адресу -
не получается выдает
1-й со airflow и scrapy
2-й splash (splash_cont).
делаю из первого конта
curl http://splash_cont:8050/ - работает окно когда scrapy пытается идти по тому же адресу -
scrapy shell http://splash_cont:8050не получается выдает
invalid hostname: splash_contAC
ну и соответственно рендеринг через splash тоже не получается
AC
а это что такое? network_mode?
AC
а если в компоузе несколько контейнеров? всем ставить
network_mode: hostAC
?
AC
я делал так что ставил всем контам
тогда scrapy видел splash но другая проблема возникала - airflow переставал видеть постгре
network_mode: crawler-networkтогда scrapy видел splash но другая проблема возникала - airflow переставал видеть постгре
AR
C T
I have tried to crawl this url https://www.forexfactory.com. It returned no response. I also used scrapy shell command: scrapy shell https://www.forexfactory.com. It is still no luck. Is there something on this website prevent from crawling? Anyone can help? Thanks.
interesting, it works only with HTTP/2, I wonder how are they going to support older browsers
AR
curl --http1.1 fails in the same way
AR
unfortunately, Scrapy doesn't yet support HTTP/2
CT
Thanks!
AR
or maybe it's actually something else, for example something TLS-related, that gets disabled when disabling HTTP/2, I don;t know
AC
и requests видит