ток там хромдрайвер под капотом

не буду спорить

Ок, что нибудь попробую, спасибо

почти тот же селениум

безголовый только

это и в обычном можно сделать

Хелп плиз. При скачивании таблици в CSV заголовки идут не по порядку начиная с 4 позиции и начинаются путаться при сохранении правильности описания. Так вот не могу выровнять заголовки никак чтобы шли по порядку. Мне тут дали инфу что рыть нужно в этом https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-export-fields направлении.
Но я никак не могу понять куда пихать это FEED_EXPORT_FIELDS = ["foo", "bar", "baz"]

это настройка.

впрочем "заголовки идут не по порядку" это не про то

Скажите, пожалуйста, правильно ли я понимаю смысл параметра CONCURRENT_REQUESTS. Если, например, мне нужно соскрапить данные со 128 линков, и я установлю этот параметр равным 128, то скрапи в первую же секунду работы отправит запросы на все 128 страницы? Или это как-то по-другому работает?

плюс-минус да

над чем настройка? Обясни детальнее плз
вот кодь:

class NhlSpider(scrapy.Spider):
   name = 'nhl'
   start_urls = [
       'https://www.nfl.com/players/marcus-allen-2/stats/logs/'
   ]

   def parse(self, response):
       items = {}
       for name in response.xpath('//section[3]/div/div[1]/div/div[2]'):
           if name:
               for i in range(len(name.xpath('//*[@id="main-content"]/section[3]/div/div[1]/div/div[2]/table/tbody/tr/td[1]/text()').getall())):
                   opp = name.xpath('//tr/td[3]/text()')[i].get()
                   reqex = re.compile('(@\w+|\w+)', re.M)
                   items['namber'] = re.findall('\d+', str(name.xpath('//tr/td[1]/text()')[i].get()))
                   items['names'] = response.xpath('//*[@id="main-content"]/div[1]/div/section/div/div/div/h1/text()').get()
                   items['year'] = re.findall('\d+/\d+/\d+', str(name.xpath('//tr/td[2]/text()')[i].get()))
                   items['opp'] = reqex.findall(opp)
                   items['result'] = re.findall('\w* \d+ - \d+', str(name.xpath('//tr/td[4]/text()')[i].get()))
                   items['namber'] = 'None'
                   try:
                       items['rec'] = re.findall('\d', str(name.xpath('//tr/td[5]/text()')[i].get()))
                   except Exception:
                       items['rec'] = None
                   yield items

вопрос был куда писать - ответ писать туда, куда пишутся другие настройки

код говно, а что именно там объяснять?

в скрапи есть метод re() re_first()

reqex.findall(opp)

это чтоблядьтакое