Люди вопрос, а какие ньюансы есть в работе с формами? С
гугл.ком работает код, а на олх.юа, бесконечный редикрект
import scrapy
from scrapy.utils.response import open_in_browser
from scrapy.http import Request
class Test2Spider(scrapy.Spider):
name = 'test_2'
start_urls = [
'
https://www.olx.ua/list/',
]
def parse(self, response):
data = {
'q':'citylight'
}
yield scrapy.FormRequest.from_response(
response,
formid='mainTopSearch',
formdata=data,
callback=self.after_form,
dont_filter=True,
)
def after_form(self,response):
open_in_browser(response)
2019-07-11 23:30:23 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <POST
https://www.olx.ua/list/q-citylight/> from <POST https://ww
w.olx.ua/list/q-citylight/>
2019-07-11 23:30:29 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <POST
https://www.olx.ua/list/q-citylight/> from <POST https://ww
w.olx.ua/list/q-citylight/>
2019-07-11 23:30:36 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <POST
https://www.olx.ua/list/q-citylight/> from <POST https://ww
w.olx.ua/list/q-citylight/>
и так без конца...