В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 October 15

К

Кирилл in Scrapy
Ничего не чеши, всё просто
источник
20:24пожаловаться#1

К

Кирилл in Scrapy
ты делаел
spider = SomeSpiderClass()
crawler.crawl(spider)

теперь пиши
crawler.crawl(SomeSpiderClass)
источник
20:25пожаловаться#2

К

Кирилл in Scrapy
Подтягивай англ) в ошибке написано что делать
источник
20:26пожаловаться#3

R

Roma in Scrapy
if name == "main":
       # list of crawlers
       TO_CRAWL = [Spiders]
       for spider in TO_CRAWL:
           settings = get_project_settings()
           crawler = CrawlerProcess(settings)
           spider = TurkeyWholesalePricesBot()

           crawler.crawl(spider, trade_date='2019-10-10', override_data='Y')

       crawler.start()
источник
20:27пожаловаться#4

R

Roma in Scrapy
Не пойму в чем тут ошибка))
источник
20:27пожаловаться#5

R

Roma in Scrapy
Кирилл
Подтягивай англ) в ошибке написано что делать
)) Хорошо - спасибо!
источник
20:28пожаловаться#6

К

Кирилл in Scrapy
crawler.crawl(TurkeyWholesalePricesBot, остальное)
источник
20:28пожаловаться#7

К

Кирилл in Scrapy
не создавай экземпляр
источник
20:28пожаловаться#8

К

Кирилл in Scrapy
класс нужен
источник
20:28пожаловаться#9

R

Roma in Scrapy
Спасибо - добрый человек)
источник
20:29пожаловаться#10
2019 October 16

B

Bulatbulat48 in Scrapy
Кирилл
Подтягивай англ) в ошибке написано что делать
Он из 🇺🇸
источник
11:09пожаловаться#11

К

Кирилл in Scrapy
Bulatbulat48
Он из 🇺🇸
Тогда даже не знаю)
источник
11:11пожаловаться#12

PA

Phantom Assasin in Scrapy
подскажите где взять список user-agents 'Mozilla/5.0 (Windows; U; Win98; en-US; rv:1.4) Gecko Netscape/7.1 (ax)'
источник
11:42пожаловаться#13

B

Bulatbulat48 in Scrapy
Phantom Assasin
подскажите где взять список user-agents 'Mozilla/5.0 (Windows; U; Win98; en-US; rv:1.4) Gecko Netscape/7.1 (ax)'
уточни вопрос что нужно
источник
11:46пожаловаться#14

PA

Phantom Assasin in Scrapy
Bulatbulat48
уточни вопрос что нужно
типа такого
https://gist.github.com/VivienGiraud/4994a3f3fceeec06d03fcbb8fa0f8751
Gist
[PYTHON] Returns randomly a user agent in list
[PYTHON] Returns randomly a user agent in list. GitHub Gist: instantly share code, notes, and snippets.
источник
11:47пожаловаться#15

B

Bulatbulat48 in Scrapy
Phantom Assasin
типа такого
https://gist.github.com/VivienGiraud/4994a3f3fceeec06d03fcbb8fa0f8751
Gist
[PYTHON] Returns randomly a user agent in list
[PYTHON] Returns randomly a user agent in list. GitHub Gist: instantly share code, notes, and snippets.
https://github.com/search?q=user_agent.txt
https://github.com/search?q=user_agents.txt
https://github.com/sebbekarlsson/user-agents.txt/blob/master/user-agents.txt
GitHub
GitHub is where people build software. More than 40 million people use GitHub to discover, fork, and contribute to over 100 million projects.
источник
11:50пожаловаться#16

МС

Михаил Синегубов in Scrapy
Phantom Assasin
подскажите где взять список user-agents 'Mozilla/5.0 (Windows; U; Win98; en-US; rv:1.4) Gecko Netscape/7.1 (ax)'
так есть же fake-useragent (или как оно там называется), можно нагенерить сколько хош. Или нужен именно список?
источник
12:28пожаловаться#17

PA

Phantom Assasin in Scrapy
Михаил Синегубов
так есть же fake-useragent (или как оно там называется), можно нагенерить сколько хош. Или нужен именно список?
да вроде нашел уже
источник
12:57пожаловаться#18

EB

Elisei Badanin in Scrapy
мир тесен, сейчас проверял логи своих сайтов, нашел “Scrapy/1.3.3 (+http://scrapy.org)” в юсер агентах о_О
источник
18:54пожаловаться#19

EB

Elisei Badanin in Scrapy
даже хз что там парсить можно
источник
18:54пожаловаться#20