Телеграмм чат группы scrapy

Size: a a a

Scrapy

833 membersпожаловаться на группу

2021 April 08

i in Scrapy

что ты подразумеваешь под custom settings? https://docs.scrapy.org/en/latest/topics/settings.html

источник

01:23пожаловаться #1

Nikita Zhidkov in Scrapy

https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.custom_settings

источник

01:23пожаловаться #2

Nikita Zhidkov in Scrapy

что интересно есть и https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.settings но почему-то если я туда передаю настройки для DOWNLOADER_MIDDLEWARES то они игнорируются

источник

01:24пожаловаться #3

i in Scrapy

а ты пробовал передать в cli этот свой use_selenium, а потом прописать в спайдер-классе с if'ом своим уже задание мидлвары?

источник

01:26пожаловаться #4

i in Scrapy

типа как тут, тока с if'ом:
https://docs.scrapy.org/en/latest/topics/settings.html#settings-per-spider

источник

01:26пожаловаться #5

Nikita Zhidkov in Scrapy

так не понятно куда записывать в итоге этот DOWNLOADER_MIDDLEWARES

источник

01:27пожаловаться #6

Nikita Zhidkov in Scrapy

в кастом сетингс неполучится

источник

01:28пожаловаться #7

i in Scrapy

там еще ниже есть про "The settings attribute is set in the base Spider class after the spider is initialized. If you want to use the settings before the initialization (e.g., in your spider’s init() method), you’ll need to override the from_crawler() method."

источник

01:32пожаловаться #8

i in Scrapy

но вообще вот же там


custom_settings = {
        'SOME_SETTING': 'some value',
    }

источник

01:32пожаловаться #9

i in Scrapy

почему это не сработает? условно

if USE_SELENIUM=='use':
    custom_settings = {
            'и тут ты включаешь свою мидлварю селениумную': 'some value',
        }

источник

01:33пожаловаться #10

Nikita Zhidkov in Scrapy

источник

01:34пожаловаться #11

i in Scrapy

я уже тупой на ночь и не понимаю смысла этой фразы)

источник

01:35пожаловаться #12

Nikita Zhidkov in Scrapy

Короче скрапи вытащит это значение до того как запустит инициализацию класса паука, а инициализация это самое раннее место где ты сможешь задать нужные тебе значения в зависимости от аргументов

источник

01:37пожаловаться #13

i in Scrapy

а это не поможет?

источник

01:37пожаловаться #14

Nikita Zhidkov in Scrapy

О, спасибо, пропустил это сообщение тоже сонный)) завтра попробую

источник

01:38пожаловаться #15

i in Scrapy

но ваще, если чо - железный вариант тебе будет тупо запустить со скрипта, и там уже ты можешь как хошь аргументы разбирать, но это тоже кидали