Size: a a a

2021 June 09

АГ

Айдер Гемеджи... in Scrapy
источник

АГ

Айдер Гемеджи... in Scrapy
источник

АГ

Айдер Гемеджи... in Scrapy
подскажите что не так сделал?
источник

АГ

Айдер Гемеджи... in Scrapy
ругается на подключение библиотеки
источник

A

Andrii in Scrapy
Переназви файл
источник

АГ

Айдер Гемеджи... in Scrapy
как назвать?\
источник

P

PirraToZ in Scrapy
Как хочешь)
источник

P

PirraToZ in Scrapy
menu_one.py
источник

A

Andrii in Scrapy
У тебя название файла парсел и тьі делаеш фром парсел импорт что-то, тоесть с самого себя что-то хочеш
источник

АГ

Айдер Гемеджи... in Scrapy
источник

i

i in Scrapy
возможно, у тебя там pyc-файл скомпилялся, удали его)
источник

i

i in Scrapy
у тебя все еще какой-то файл называется parsel.py
источник

i

i in Scrapy
и selector.py файл свой тоже по-другому обзови, лол
источник
2021 June 10

P

PirraToZ in Scrapy
Сам обзывай файлы, я дружу с ними :)
источник

АГ

Айдер Гемеджи... in Scrapy
Спасибо)
источник

IP

Ivan Pushin in Scrapy
Подскажите, как в скрапи передать переменную в качестве аргумента спайдера? У меня есть несколько тысяч сайтов, которые мне нужно по очереди передавать в "start_urls" в спайдере и запускать спайдер каждый раз для нового сайта. В доках сказано "Keep in mind that spider arguments are only strings" и да, если аргумент -- текстовый адрес сайта, всё ок работает, но если перебирать адреса и подставлять переменную, то ожидаемо ничего не запускается. То есть, вот так не получится, вместо url должен быть текст:
scrapy crawl keywords_spider -a start_url=url

Если тут какое-то решение? Или постановка вопроса изначально некорректная и передавать перебором аргументы это так себе идея?

Контекст задачи такой: нужно для каждого сайта посчитать количество ключевых слов на всех страницах. Насколько я понял, если передать список сайтов в "start_urls", то ключевые слова не будут подсчитываться для каждого сайта отдельно, а для всех целиком, что мне не совсем подходит.
источник

МС

Михаил Синегубов... in Scrapy
вызываешь из консоли, или из другого паука?

>  Насколько я понял, если передать список сайтов в "start_urls", то ключевые слова не будут подсчитываться для каждого сайта отдельно
так выкуси домен из response.url, передавай его в айтеме, вот и будет фильтр по сайту.
источник

МС

Михаил Синегубов... in Scrapy
именно передача переменных из консольки, вроде вот
https://stackoverflow.com/questions/15611605/how-to-pass-a-user-defined-argument-in-scrapy-spider
но я не думаю, что тебе так надо делать
источник

AR

Andrey Rahmatullin in Scrapy
в чём проблема вместо url передать текст?
источник

IP

Ivan Pushin in Scrapy
> так выкуси домен из response.url, передавай его в айтеме, вот и будет фильтр по сайту.
Да, вариант, уже пробую так.
источник