Вот это правильно)

Это вы линкедину идите скажите

в сша есть закон что если сайт доступен человеку то он должен быть доступен для роботов, по крайней мере мне так заказчик сказал

так они вроде выиграли в итоге суды против линкедина, правда это стока сил потребовало, ух

Ну вот и ты выиграешь

вот тут пишут что в 2019 линкед проиграл суд и им сказали что блочить нельзя, хз может что изменилось с тех пор

https://m.habr.com/en/company/globalsign/blog/466911/

Дальше был Верховный

Или будет

А как с законодательством в СНГ?

Зависит от законодательства каждой отдельной страны

Помогите, пожалуйста, только начал изучать scrapy. Перед парсингом нужно сделать несколько запросов. Запускаю, данных в json нет. Походу запрос неправильно делаю. Вот мой код:

import scrapy


class CibtvisasSpider(scrapy.Spider):
   name = 'example'
   allowed_domains = ['example.co.uk']
   start_urls = ['https://example.co.uk']

   
   def parse(self, response):
       token = response.selector.xpath('//input[@name="csrf_token"]/@value').get()

       link = scrapy.Request('https://example.co.uk/ajax/ajax.visaPopup.php?csrf_token=%s&passport_from=%s&state_of_residence=&traveling_to[0]=%s&traveling_for[0]=%s&traveling_to[1]=&traveling_for[1]=&traveling_to[2]=&traveling_for[2]=&traveling_to[3]=&traveling_for[3]=&account_number=&account_exists=N' % (token, 'GBR', 'UKR', 'B'))
       link_2 = scrapy.Request('https://example.co.uk/requirements', callback=self.parse_quotes)

   def parse_quotes(self, response):
       yield {
           'yes_no' : response.xpath('//div[@class="notice"]//h2/text()').get(),
       }

ну, как бы проще объяснить. вместо

link = scrapy.Request....
надо делать
yield  scrapy.Request....

+++))

посмотри в туториале как правильно делать запросы

Ок! Спасибо!

Скажу так, линкедин просто мега просто парсить

Я сам этим не занимался. Просто когда собесодавлся в одну компанию. То с чуваком обсуждали эту тему и он приводил пример что линкедин хорошо сопротивляется

Тогда хорошо что не попал в такую фирму

Ага)