В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 August 21

МС

Михаил Синегубов in Scrapy
izzz zzi
Во что может начать упираться производительность?
думал ротатор и прокси долго отвечают , отключил
16 CONCURRENT_REQUESTS 1.5к стр/мин
32 CONCURRENT_REQUESTS 1.5к стр/мин
1. сайт
2. провайдер
3. IO хранения данных
4. твоя сиситема, с смысле, сама ось
источник
13:08пожаловаться#1

iz

izzz zzi in Scrapy
Ну я в базу пишу
источник
14:06пожаловаться#2

VP

Valera Pupkin in Scrapy
Как на авито site-key для капчи при авторизации найти?
источник
20:34пожаловаться#3

iz

izzz zzi in Scrapy
Valera Pupkin
Как на авито site-key для капчи при авторизации найти?
На стр
источник
20:42пожаловаться#4

VP

Valera Pupkin in Scrapy
izzz zzi
На стр
?
источник
21:13пожаловаться#5

М

Мак in Scrapy
на странице
источник
21:14пожаловаться#6

iz

izzz zzi in Scrapy
Сорец открой и поиском найдёшь
источник
21:14пожаловаться#7
2019 August 22

A

AstralRomance in Scrapy
Вот хочу я, чтобы оно вот так работало:
Есть у меня бот. Бот принимает сообщение, прокидывает его через базу, получает оригинальное название хреновины, потом я с помощью оригинального названия хреновины формирую ссылку для этой хреновины на стороннем сайте, после чего нужно получить цены. Павук есть, бот есть, теперь нужно соединить бота и павука. Щас делаю как-то так: 
pavuk_process = CrawlerProcess(get_project_settings())
...
def return_card(message):
  <find card>
  for i in uniq_names:
            linked_name += make_lined_name(i)
            pavuk_process.crawl('followall', list(make_link(i)))
            pavuk_process.start()

Я где-то обосрался, или так и надо?
источник
09:28пожаловаться#8

E

Evgen in Scrapy
Scrapyrt гляньте
источник
09:49пожаловаться#9
2019 August 23

VP

Valera Pupkin in Scrapy
Как отправить хеш решенной рекапчи v2 на авито при входе в аккаунт? Может кто сталкивался
источник
11:17пожаловаться#10

М

Мак in Scrapy
Valera Pupkin
Как отправить хеш решенной рекапчи v2 на авито при входе в аккаунт? Может кто сталкивался
yield scrapy.FormRequest.from_response(response, dont_filter=True, formid='challenge-form',
                                                  formdata={'g-recaptcha-response': token},
источник
11:35пожаловаться#11

VP

Valera Pupkin in Scrapy
Мак
yield scrapy.FormRequest.from_response(response, dont_filter=True, formid='challenge-form',
                                                  formdata={'g-recaptcha-response': token},
спасибо
источник
12:05пожаловаться#12
2019 August 24

DD

Danil Denysenko in Scrapy
Привет. Scrapyd позволит запускать один паук на нескольких ядрах? Или только 1 паук на 1 ядре?
источник
18:17пожаловаться#13
2019 August 25

DD

Danil Denysenko in Scrapy
не подскажите?)
источник
16:00пожаловаться#14

К

Кирилл in Scrapy
Там тёмный лес.. лучше считай что не позволит
источник
16:01пожаловаться#15

К

Кирилл in Scrapy
Danil Denysenko
не подскажите?)
Если тебе нужна производительность, то это не к пайтону
источник
16:09пожаловаться#16

DD

Danil Denysenko in Scrapy
Кирилл
Там тёмный лес.. лучше считай что не позволит
если я ручками попробую прикрутить ядра, то все равно оно не будет выдавать больше производительности? Ну, к примеру, буду один паук создавать на 4х ядрах, но разные урлы передавать туда
источник
16:18пожаловаться#17

DD

Danil Denysenko in Scrapy
мб просто оно в твистед упрется
источник
16:18пожаловаться#18

К

Кирилл in Scrapy
в твистеде дальже мультитреда нет
источник
16:19пожаловаться#19

К

Кирилл in Scrapy
Danil Denysenko
если я ручками попробую прикрутить ядра, то все равно оно не будет выдавать больше производительности? Ну, к примеру, буду один паук создавать на 4х ядрах, но разные урлы передавать туда
если так серьезно заботит производительность, то http://go-colly.org/
go-colly.org
Scraping Framework for Golang
Scraping framework for extracting the data you need from websites, used for a wide range of applications, like data mining, data processing or archiving
источник
16:21пожаловаться#20