В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 June 29

M

Mohamad in Scrapy
прямо в парс новый реквест елдить или что?
источник
23:01пожаловаться#1

МС

Михаил Синегубов in Scrapy
1. запустил паук
2. в методе parse ты получаешь результат
2.1. прасишь данных
2.2. охреневаешь с полученных данных
2.3. йелдишь страницу заново. В реквесте ты можешь указать кто будет ответ обрабатывать. По дефолту метод "parse"
источник
23:03пожаловаться#2

M

Mohamad in Scrapy
я понял только ЗАНОВО
источник
23:03пожаловаться#3

M

Mohamad in Scrapy
это как
источник
23:03пожаловаться#4

МС

Михаил Синегубов in Scrapy
аррр
источник
23:03пожаловаться#5

M

Mohamad in Scrapy
def parse(self, response):
  ""CОБИРАЮ ДАННЫЕ""
 ЙЕЛД ТУТ ОПЯТЬ
источник
23:04пожаловаться#6

M

Mohamad in Scrapy
так?
источник
23:04пожаловаться#7

VP

Valera Pupkin in Scrapy
выгрузка сайта это полный парсинг сайта или что?
источник
23:04пожаловаться#8

МС

Михаил Синегубов in Scrapy
Mohamad
так?
типа того
источник
23:04пожаловаться#9

M

Mohamad in Scrapy
Михаил Синегубов
типа того
У меня так спустя 30-40 минут просто скрапи останавливается и стоит на месте ничего не делая
источник
23:04пожаловаться#10

МС

Михаил Синегубов in Scrapy
Valera Pupkin
выгрузка сайта это полный парсинг сайта или что?
смотря что и как, обычно это к магазам/справочникам относится. И обычно "спиздить все"
источник
23:04пожаловаться#11

МС

Михаил Синегубов in Scrapy
Mohamad
У меня так спустя 30-40 минут просто скрапи останавливается и стоит на месте ничего не делая
ты как перезапускал?
источник
23:05пожаловаться#12

M

Mohamad in Scrapy
Михаил Синегубов
ты как перезапускал?
как ты и сказал елдил в парсе
источник
23:05пожаловаться#13

МС

Михаил Синегубов in Scrapy
и вообще, нахрена тебе скрапи для одной страницы?
источник
23:05пожаловаться#14

M

Mohamad in Scrapy
Михаил Синегубов
и вообще, нахрена тебе скрапи для одной страницы?
у меня таких одних страниц
источник
23:06пожаловаться#15

M

Mohamad in Scrapy
70 штук
источник
23:06пожаловаться#16

M

Mohamad in Scrapy
и тут есть такая тема как СТАРТ УРЛС
источник
23:06пожаловаться#17

M

Mohamad in Scrapy
Когда сайтов много и все одновременно надо очень удобно
источник
23:06пожаловаться#18

МС

Михаил Синегубов in Scrapy
тогда вопрос, нахрена тебе скрапи для   70 страниц?
источник
23:06пожаловаться#19

M

Mohamad in Scrapy
и все говорят бери скрапи
источник
23:06пожаловаться#20