Size: a a a

2021 June 10

IP

Ivan Pushin in Scrapy
Для одного сайта без проблем, но если их несколько тысяч, то как тут можно текст передать, а не переменную?
источник

AR

Andrey Rahmatullin in Scrapy
я не понимаю что такое текст
источник

AR

Andrey Rahmatullin in Scrapy
типа, большую переменную?
источник

IP

Ivan Pushin in Scrapy
То есть вот так норм работает: !scrapy crawl keywords_spider -a start_url='https://www.holz-fey.de'
источник

IP

Ivan Pushin in Scrapy
Но если вместо адреса сайта -- переменная (в случае перебора списка сайтов) то не запускается
источник

AR

Andrey Rahmatullin in Scrapy
ничо не понял совсем
источник

S

SoHard 🎄 in Scrapy
каво
источник

МС

Михаил Синегубов... in Scrapy
источник

МС

Михаил Синегубов... in Scrapy
вангую - переменная шелла или баша, наверное 🙃
источник

МС

Михаил Синегубов... in Scrapy
на будущее, не консолью единой жив человек :). Запускать по отдельности на 100500 ссылок пауки из консольки, так себе идейка
источник

IP

Ivan Pushin in Scrapy
Так, есть подозрение что я несу какую-то дичь:) Не ругайтесь если что, я примерно второй день со скрапи работаю. Спайдер запускаю из jupyter ноутбука.
источник

AR

Andrey Rahmatullin in Scrapy
т.е. вопрос в том как процессу параметры передавать, а не про питон или про скрапи
источник

AR

Andrey Rahmatullin in Scrapy
это не к нам, а к ноутбуку
источник

МС

Михаил Синегубов... in Scrapy
жупитер, ой, лично я хз как оно там...
а в чем проблема поставить скрапи на ноут?
источник

S

SoHard 🎄 in Scrapy
так он же вроде как питоновский шелл работает
источник

IP

Ivan Pushin in Scrapy
дурная привычка работать в жупитере, устанавливать на ноут не пробовал
источник

AR

Andrey Rahmatullin in Scrapy
какая разница, тут-то из него запускают процессы
источник

AR

Andrey Rahmatullin in Scrapy
а это столько слоёв что надо самому разбираться, а не в чат тащить
источник
2021 June 11

c

 c84t8 🤥 in Scrapy
g-recaptcha-response можно как-то получить не используя селениума и чето такого?
источник

AR

Andrey Rahmatullin in Scrapy
господа, а нам нужен русский канал в оф. дискорде? хотя может те, кому он нужен, тут могут и не сидеть
источник