Телеграмм чат группы scrapy_python страница 1456

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

457 membersпожаловаться на группу

2020 April 24

МС

Михаил Синегубов in Scrapy

из опыта - 90% времени занимают запросы, так что скрапи со своим одним потоком живет и зравствует.
но если требуется прям п...ц какой тюнинг и дорога каждая миллисекунда, то тогда вообще с питона надо уходить :)

источник

09:52пожаловаться #1

М

Мак in Scrapy

вот это дал гари...)))

источник

09:55пожаловаться #2

AK

Anil Kumar in Scrapy

How to scrape a website if I click on the link on that website the url won't change. But the data is getting in html format only not json in backend.

источник

09:58пожаловаться #3

AR

Andrey Rahmatullin in Scrapy

create a Selector with that HTML data and query it

источник

09:59пожаловаться #4

Q

Qwelcer in Scrapy

Михаил Синегубов

когда каждый камушек в процессоре занят своим процессом, гуглится по слову "многопоток".
скрапи однопоточный, у него только запросы асинхроннные
синхронные запросы - отправил запрос, дождался ответа, отправил след. запрос
асинхронные запросы - отправил разом 100500 мульёнов запросов, и по мере поступления ответов, обрабатываешь
многопоток - у тебя 100500 потоков шлют одновременно 100500 запросов (синхрн или асинхрон - это кто насколько извратится) и так же одновременно обрабатывается

То есть многопроцессорность и многопоточность это одно понятие? Я думал обратное, спасибо пошел гуглить)

источник

10:04пожаловаться #5

AK

Anil Kumar in Scrapy

Andrey Rahmatullin

create a Selector with that HTML data and query it

But the page is loading using Javascript after 3 - 8 sec of original page loading.

источник

10:05пожаловаться #6

AR

Andrey Rahmatullin in Scrapy

so?

источник

10:05пожаловаться #7

AK

Anil Kumar in Scrapy

How to wait until page loads.

источник

10:06пожаловаться #8

AR

Andrey Rahmatullin in Scrapy

Scrapy doesn't execute JS.

источник

10:06пожаловаться #9

AR

Andrey Rahmatullin in Scrapy

neither does it "load the page"

источник

10:06пожаловаться #10

AR

Andrey Rahmatullin in Scrapy

just do the same request as the page does, your initial question suggests you know how to do that

источник

10:07пожаловаться #11

AK

Anil Kumar in Scrapy

Andrey Rahmatullin

neither does it "load the page"

So should I use splash?

источник

10:07пожаловаться #12

AR

Andrey Rahmatullin in Scrapy

so I was wrong, read https://docs.scrapy.org/en/latest/topics/dynamic-content.html

источник

10:07пожаловаться #13

AK

Anil Kumar in Scrapy

Andrey Rahmatullin

so I was wrong, read https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Thank you.

источник

10:08пожаловаться #14

К

Кирилл in Scrapy

То есть многопроцессорность и многопоточность это одно понятие? Я думал обратное, спасибо пошел гуглить)

Ты под "многопроцессорность" подразумеваешь процессоры или процессы?

источник

10:22пожаловаться #15

G

Genadyi in Scrapy

Ты под "многопроцессорность" подразумеваешь процессоры или процессы?

Скорее всего 2

источник

10:26пожаловаться #16

G

Genadyi in Scrapy

То есть многопроцессорность и многопоточность это одно понятие? Я думал обратное, спасибо пошел гуглить)

Поток и процесс отличаются

источник

10:26пожаловаться #17

Q

Qwelcer in Scrapy

Ты под "многопроцессорность" подразумеваешь процессоры или процессы?

Да, я про процессы

источник

10:28пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

пишешь продюсер-консумер пауков и поехали

источник

10:31пожаловаться #19

AR

Andrey Rahmatullin in Scrapy

так делают когда слишком дохера итемов, либо когда они дособирываются регулярно как-то, либо когда хочется распараллелить консумеров (потому что монолитный спайдер ты так просто не распараллелишь)

источник

10:32пожаловаться #20