Телеграмм чат группы scrapy_python страница 1314

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

434 membersпожаловаться на группу

2020 March 28

МС

Михаил Синегубов in Scrapy

Парни, вопрос про скачивание файлов. Чем будет хуже использование модуля wget например, по ссылке файла, в теле одного из методов паука, и включение imagepipeline, который откровенно менее понятен в настройке

1. wget будет работать в основном потоке. т.е. медленнее
2. Пайп контролирует ссылки, если ты дернеш уже скачанную, он просто отдаст ранее скачанный файл

Ну, это то, что на поверхности

источник

14:25пожаловаться #1

МС

Михаил Синегубов in Scrapy

Насчёт повторов, не помню точно, но, вроде, в пайпе полный фарш, с повторами и контролем кодов ответа сервера

источник

14:27пожаловаться #2

К

Кирилл in Scrapy

Подожди, какой основной поток?

источник

14:29пожаловаться #3

М

Мак in Scrapy

Н-да... Что за чудесный основной поток? Твистед же на евент луп работает

источник

14:32пожаловаться #4

М

Мак in Scrapy

На моё нубское понимание - это карусель, из которой обработчик состояний выдергивает нужные условия...

источник

14:33пожаловаться #5

К

Кирилл in Scrapy

Эвент лупы тоже в основном потоке работают

источник

14:34пожаловаться #6

МС

Михаил Синегубов in Scrapy

Подожди, какой основной поток?

Десктопная привычка.
Суть такая (по крайней мере мое понимание архитектуры):
1. Весь код паука выполняется в одном потоке.
2. Запросы асинхрон. Но вгет то не асинхрон...

Сугубо мое понимание, поправьте где я не прав

источник

15:21пожаловаться #7

К

Кирилл in Scrapy

wget подпроцесс же, если вы про пайтоновский пакет wget 2015 года то даже вопрос не стоит тогда

источник

15:25пожаловаться #8

A

Aleksandr in Scrapy

Привет ребят, почему ничего не выводит респонс именно на этом сайте?

import scrapy



class Spider(scrapy.Spider):
    name = 'spider'
    start_urls = ['https://freelancehunt.com/'
    ]

    def parse(self, response):
        
        print(response)

источник

17:41пожаловаться #9

К

Кирилл in Scrapy

Защита какая-то

источник

17:45пожаловаться #10

A

Aleksandr in Scrapy

А как ее можно обойти?

источник

17:45пожаловаться #11

К

Кирилл in Scrapy

Вариантов куча

источник

17:46пожаловаться #12

К

Кирилл in Scrapy

Покажи логи запуска

источник

17:46пожаловаться #13

М

Мак in Scrapy

Фриласнхант... Ещё б апворк до кучи)))

источник

17:49пожаловаться #14

М

Мак in Scrapy

И заголовок в газете как поимели все биржи фриланса..

источник

17:50пожаловаться #15

A

Aleksandr in Scrapy

2020-03-28 16:58:26 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://freelancehunt.com/>: HTTP status code is not handled or 
not allowed

источник

17:59пожаловаться #16

A

Aleksandr in Scrapy

оно?

источник

17:59пожаловаться #17

RG

Roman Gangal in Scrapy

Парни подскажите по https://github.com/xiaowangwindow/scrapy-rotated-proxy Беру прокси с файла. Но прокси в файле должны быть в формате json. Скиньте пожалуйста рабочий пример списка проксей в формате json под эту мидлвару. А то у меня чет не пашет. Пробую так
{"proxy": "admin:pass@55.133.47.1:5000",
"proxy": "admin:pass@458.155.46.0:3000"}

и даже так

{"admin:pass@55.133.47.1:5000",
"admin:pass@458.155.46.0:3000"}

не берет прокси и все

источник

18:05пожаловаться #18

К

Кирилл in Scrapy

Парни подскажите по https://github.com/xiaowangwindow/scrapy-rotated-proxy Беру прокси с файла. Но прокси в файле должны быть в формате json. Скиньте пожалуйста рабочий пример списка проксей в формате json под эту мидлвару. А то у меня чет не пашет. Пробую так
{"proxy": "admin:pass@55.133.47.1:5000",
"proxy": "admin:pass@458.155.46.0:3000"}

и даже так

{"admin:pass@55.133.47.1:5000",
"admin:pass@458.155.46.0:3000"}

не берет прокси и все

а протоколы где?

источник

18:07пожаловаться #19

RG

Roman Gangal in Scrapy

а протоколы где?

а куда их в ключи класть?

источник

18:07пожаловаться #20