В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

664 membersпожаловаться на группу
2020 October 30

СК

Семён Кашин... in Scrapy
Господа! Приветствую!
А никто не может подсказать  как правильно организовывать работу с Scrapy - RabbitMQ? Хотелось бы увидеть пример работающего middleware и/или pipeline. Своими силами у меня получается как-то корявенько - очень часто теряется подключение по таймауту
источник
11:34пожаловаться#1

СК

Семён Кашин... in Scrapy
может есть какие то рабочие примеры, которые на проде используются?
источник
11:35пожаловаться#2

К

Кирилл in Scrapy
Там же есть готовый пакет где-то, правда заброшенный немного
источник
11:36пожаловаться#3

СК

Семён Кашин... in Scrapy
я его где-то находил... Но он реально заброшенный
источник
11:37пожаловаться#4

К

Кирилл in Scrapy
Сам не пробовал, но на первый взгляд он выглядит нормально. И умеет ссылки кормить, а не просто айтемы пихать, как в другом
источник
11:39пожаловаться#5

СК

Семён Кашин... in Scrapy
https://github.com/roycehaynes/scrapy-rabbitmq
GitHub
roycehaynes/scrapy-rabbitmq
A RabbitMQ Scheduler for Scrapy. Contribute to roycehaynes/scrapy-rabbitmq development by creating an account on GitHub.
источник
11:41пожаловаться#6

СК

Семён Кашин... in Scrapy
про вот это идет разговор?
источник
11:41пожаловаться#7

К

Кирилл in Scrapy
да
источник
11:41пожаловаться#8

A

Andrii in Scrapy
Хелоу, делаю такой луп (https://pastebin.com/2x70Ue9L) и где-то на 6000+ странице у меня уже не хватка памяти (20гб), можно как-то сделать, что б он взял там 1000 страниц спарсил и так далее?
Pastebin
country_codes = ['IQ', 'CI', 'JM', 'JO', 'KZ', 'KE', 'KS', 'KW', 'KG', 'LD', - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
источник
17:33пожаловаться#9

ДТ

Даниил Трофимов... in Scrapy
за сколько сделаете?
источник
17:35пожаловаться#10

К

Кирилл in Scrapy
Даниил Трофимов
за сколько сделаете?
Заказы в @scrapy_jobs
источник
17:35пожаловаться#11

ДТ

Даниил Трофимов... in Scrapy
Кирилл
Заказы в @scrapy_jobs
спасибо
источник
17:36пожаловаться#12

К

Кирилл in Scrapy
Andrii
Хелоу, делаю такой луп (https://pastebin.com/2x70Ue9L) и где-то на 6000+ странице у меня уже не хватка памяти (20гб), можно как-то сделать, что б он взял там 1000 страниц спарсил и так далее?
Pastebin
country_codes = ['IQ', 'CI', 'JM', 'JO', 'KZ', 'KE', 'KS', 'KW', 'KG', 'LD', - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
Скидывай весь код, а не эти обрывки
источник
17:37пожаловаться#13

A

Andrii in Scrapy
Кирилл
Скидывай весь код, а не эти обрывки
https://pastebin.com/bTxERDwT
Pastebin
# -*- coding: utf-8 -*-from datetime import datetime, timezoneimport scrap - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
источник
17:43пожаловаться#14

S

SoHard 🎄 in Scrapy
Даниил Трофимов
за сколько сделаете?
О привет
источник
17:47пожаловаться#15

S

SoHard 🎄 in Scrapy
Опять не потянул заказ?)
источник
17:48пожаловаться#16

iz

iz zi in Scrapy
SoHard 🎄
Опять не потянул заказ?)
😁
источник
17:48пожаловаться#17

iz

iz zi in Scrapy
главное взять
источник
17:48пожаловаться#18

ЛГ

Лев Гареев in Scrapy
SoHard 🎄
Опять не потянул заказ?)
хм, он тип на субподряд дает?)
источник
17:48пожаловаться#19

ЛГ

Лев Гареев in Scrapy
там же простой проект
источник
17:48пожаловаться#20