Size: a a a

2021 May 27

TM

Tim Mustafin in Scrapy
Хотя перечитал количество страниц и норм вроде. А что в качестве бд было?
источник

(

(o_O) in Scrapy
А как ты иначе процы нагрузишь, sleep'ом что-ли. Ясен фиг был, и асинк и мультипроцесс
источник

TM

Tim Mustafin in Scrapy
Синхронными запросами 🙃
источник

(

(o_O) in Scrapy
Не выйдет, попробуй
источник

TM

Tim Mustafin in Scrapy
Даже интересно стало, попробую
источник

AR

Andrey Rahmatullin in Scrapy
Синхронные запросы это тот же слип
источник

МС

Михаил Синегубов... in Scrapy
LA это link active, или хто?👀
источник

AR

Andrey Rahmatullin in Scrapy
loadavg
источник

TM

Tim Mustafin in Scrapy
Load average
источник

(

(o_O) in Scrapy
load average
источник

TM

Tim Mustafin in Scrapy
Вот да, не представляю, что там могло измениться. Блокирующий вызов же
источник

(

(o_O) in Scrapy
А операционка на что? Вызов блочится, а ресурсы отдаются другим процессам
источник

AR

Andrey Rahmatullin in Scrapy
ты считаешь что слип ест проц? :)
источник

TM

Tim Mustafin in Scrapy
Подумал и понял, что скедулер передаст контроль другому процессу
источник

TM

Tim Mustafin in Scrapy
Если там не совсем все примитивно :)
источник

AV

Anatoli Valenda in Scrapy
ай, нет нормальной официальной статистики. Из того, что есть получается, что по Москве 1,727 ляма активных пользователей. Я так и не нашел инфы по поводу среднего количества постов на аккаунте и среднего количества комментов. Как я понял из данных, в среднем идет 1 пост в день. За год 630 лямов постов. Даже если там по 1 комменту, то это очень много данных. Короче много и дорого.
источник

(

(o_O) in Scrapy
Мне кажется, что когда заказчик просит "ВСЕ комментарии из инсты по Москве" (если только не по ограниченному списку страниц пользователей) он сам не знает чего хочет.
источник

(

(o_O) in Scrapy
Я от таких стараюсь держаться подальше
источник

A

Andrii in Scrapy
+/- 5к $
источник

S

SoHard 🎄 in Scrapy
есть что-то живое под скрапи для обхода CloudFront?
источник