В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

411 membersпожаловаться на группу
2020 March 11

К

Кирилл in Scrapy
Vladyslav Babych
Подскажите пожалуйста, у меня есть АПИ, там ограничение на тротлинг по акку, но я могу их менять походу дела. Как мне лучше написать этот балансер?

Учитывая что в разных акках разные возможности(тобишь 1 может больше делать запросов, другой меньше)
Посмотри реализацию ротатора прокси, скорее всего примерно так же. Насколько помню, там через слоты довнлоадера делали https://github.com/TeamHG-Memex/scrapy-rotating-proxies
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
источник
12:11пожаловаться#1

К

Кирилл in Scrapy
Или это в каком-то другом через слоты было... Постоянно путаю их
источник
12:14пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
этот мидлварь выставляет meta['download_slot'], если речь об этом
источник
12:17пожаловаться#3

Д

Данил in Scrapy
Кирилл
Посмотри реализацию ротатора прокси, скорее всего примерно так же. Насколько помню, там через слоты довнлоадера делали https://github.com/TeamHG-Memex/scrapy-rotating-proxies
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
Никто не пробовал использовать фри прокси?
источник
12:17пожаловаться#4

К

Кирилл in Scrapy
Данил
Никто не пробовал использовать фри прокси?
Все пробовали и скорее всего все отказались от них
источник
12:19пожаловаться#5

iz

izzz zzi in Scrapy
Данил
Никто не пробовал использовать фри прокси?
Дороже выходит
источник
12:25пожаловаться#6

G

Genadyi in Scrapy
Что это за хэш, ребята? aUkQRhAIEGJqABAeEFYQCEkQYmoLBBAIEFpGRkJBCB0dRUVFHEFdXldQXUocUV1fHXNCQlNAV14dZh9hWltARkEdYR9hH2JdUVlXRh9mV1cfRFNAW1NcRh8FHFpGX14QHhBiagQBEAgQZVtcAQAQHhBiagoHAhAIAh4QYmoKBwMQCAMCBwUeEGJqAQUDEAhGQEdXHhBiagAHAhAIEGJqBwcFEB4QYmoFAgoQCBBREE9Pbw==
источник
12:45пожаловаться#7

G

Genadyi in Scrapy
Base64 какую-то ересь выдаёт
источник
12:45пожаловаться#8

G

Genadyi in Scrapy
Это явно не он
источник
12:45пожаловаться#9

VB

Vladyslav Babych in Scrapy
Может там соль?
источник
12:47пожаловаться#10

Ф

ФСБ in Scrapy
Genadyi
Base64 какую-то ересь выдаёт
как ты собрался по алгоритму узнать тип шифрования?
источник
12:52пожаловаться#11

Ф

ФСБ in Scrapy
на base64 похож
источник
12:52пожаловаться#12

Ф

ФСБ in Scrapy
но вряд ли он
источник
12:52пожаловаться#13

i

ildar in Scrapy
Genadyi
Что это за хэш, ребята? aUkQRhAIEGJqABAeEFYQCEkQYmoLBBAIEFpGRkJBCB0dRUVFHEFdXldQXUocUV1fHXNCQlNAV14dZh9hWltARkEdYR9hH2JdUVlXRh9mV1cfRFNAW1NcRh8FHFpGX14QHhBiagQBEAgQZVtcAQAQHhBiagoHAhAIAh4QYmoKBwMQCAMCBwUeEGJqAQUDEAhGQEdXHhBiagAHAhAIEGJqBwcFEB4QYmoFAgoQCBBREE9Pbw==
имхо это rsa-ключик
источник
12:53пожаловаться#14

Ф

ФСБ in Scrapy
ildar
имхо это rsa-ключик
вполне возможно
источник
12:53пожаловаться#15

Ф

ФСБ in Scrapy
только опять же вопрос какой
источник
12:53пожаловаться#16

Ф

ФСБ in Scrapy
публичный, приватный
источник
12:53пожаловаться#17

Ф

ФСБ in Scrapy
или это вообще симетричное шифрование
источник
12:54пожаловаться#18

i

ildar in Scrapy
хз только что выдает ровно 240 символов.
источник
12:54пожаловаться#19

Ф

ФСБ in Scrapy
имхо там зависит от входной информации
источник
12:54пожаловаться#20