В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 August 15

JW

John Wayne in Scrapy
ildar
ты уверен что тебе это надо делать? у реддита есть прекрасное API, в котором можно в принципе все получить без геморроя
Это для примера, https://www.mamba.ru/ вообще js не видит, я думал сплеш это такое ультимативное решение, а теперь селениум\Puppeteer смотреть нужно
Mamba - Free online chat, networking and social dating
Mamba is a free dating site and a chat app popular in 50 countries!
Dating and serious relationships with guys and girls around the world.
40 million men and women are waiting for you on Mamba. Registration!
источник
20:39пожаловаться#1

i

ildar in Scrapy
ну не совсем ультимативное, иногда бывает сплеш вообще вешается на определенных сайтах, куча иссьюс, в т.ч. и мой, на которые забит болт
источник
20:40пожаловаться#2

МС

Михаил Синегубов in Scrapy
народ, в какую сторону порыть? есть задача:
к примеру есть ХХХ аккаунтов, они попадают под временный бан
мне нельзя, что бы количестов одновременныз запросов было больше количества аккаунов. т.е. надо постоянно изменять CONCURRENT_REQUESTS или что-то вроде того...

есть мысли как это сделать/реализовать?
источник
22:11пожаловаться#3

iz

izzz zzi in Scrapy
с авторизацией работаешь?
источник
22:12пожаловаться#4

iz

izzz zzi in Scrapy
ты же можешь просто при временном бане увивать паука
источник
22:12пожаловаться#5

МС

Михаил Синегубов in Scrapy
izzz zzi
ты же можешь просто при временном бане увивать паука
мне не надо убивать, мне надо что бы потоков было не больше чем живых на данный момент акков

инста морозит по частоте запросов. Будет, к примеру,  100 акков. Стартово - 50 потоком (назовем так)
источник
22:15пожаловаться#6

МС

Михаил Синегубов in Scrapy
убивать/перезапускать паука - вообще не вариант
источник
22:16пожаловаться#7

МС

Михаил Синегубов in Scrapy
лучше притормозить до одного потока на 10-20 мин и потом нормально дальше парсить
источник
22:16пожаловаться#8

iz

izzz zzi in Scrapy
тоже инсту щас паршу , но пока медиа без авторизации
а если на тайминг паука кидать?
источник
22:16пожаловаться#9

МС

Михаил Синегубов in Scrapy
izzz zzi
тоже инсту щас паршу , но пока медиа без авторизации
а если на тайминг паука кидать?
медиа с локации то-же без авторизации?
источник
22:17пожаловаться#10

МС

Михаил Синегубов in Scrapy
они на выхах авторизацию на локации добавили :)
источник
22:18пожаловаться#11

iz

izzz zzi in Scrapy
Михаил Синегубов
медиа с локации то-же без авторизации?
да
источник
22:19пожаловаться#12

МС

Михаил Синегубов in Scrapy
https://www.instagram.com/explore/locations/17326249/?__a=1
Instagram
Login • Instagram
Welcome back to Instagram. Sign in to check out what your friends, family & interests have been capturing & sharing around the world.
источник
22:20пожаловаться#13

МС

Михаил Синегубов in Scrapy
тока открой именно БЕЗ авторизации
источник
22:21пожаловаться#14

iz

izzz zzi in Scrapy
нет , пока созраняю самое гео в json от медиа
источник
22:21пожаловаться#15

МС

Михаил Синегубов in Scrapy
так сами посты открываются, вот локация - хрен там :)
источник
22:22пожаловаться#16

iz

izzz zzi in Scrapy
Михаил Синегубов
лучше притормозить до одного потока на 10-20 мин и потом нормально дальше парсить
http://qaru.site/questions/313919/scrapy-non-blocking-pause
qaru.site
Scrapy: неблокирующая пауза - python | Qaru
У меня проблема. Мне нужно некоторое время прекратить выполнение функции, но не останавливать реализацию синтаксического анализа в целом. То есть, мне нужна неблокирующая пауза.

Похоже:

class ScrapySpider(Spider):
   name = 'live_function'

   de
источник
22:24пожаловаться#17

МС

Михаил Синегубов in Scrapy
угу спс. посмотрю
источник
22:24пожаловаться#18

К

Кирилл in Scrapy
кто-то пользуется? https://github.com/TeamHG-Memex/scrapy-rotating-proxies

интересует задержка между запросами и число конкурентных запросов, в доке написано что оно на каждую проксю отдельно действует, но я меняю число прокси, а количество итемов в минуту примерно одинаковое, такое ощущение что задержка общая
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
источник
22:36пожаловаться#19

iz

izzz zzi in Scrapy
Кирилл
кто-то пользуется? https://github.com/TeamHG-Memex/scrapy-rotating-proxies

интересует задержка между запросами и число конкурентных запросов, в доке написано что оно на каждую проксю отдельно действует, но я меняю число прокси, а количество итемов в минуту примерно одинаковое, такое ощущение что задержка общая
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
вроде общая
источник
22:39пожаловаться#20