В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 22

ЛГ

Лев Гареев in Scrapy
:D
источник
19:00пожаловаться#1

A

Andrii in Scrapy
Лев Гареев
бесконечный парсер?
нет
источник
19:02пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
Andrii
или вообще как следить за чем-то в рилтайме (сайт без апи)
Никак, только шедулить
источник
19:35пожаловаться#3

S

SoHard 🎄 in Scrapy
Andrii
апи есть)
если я буду пихать ему кучу страниц на загрузку в архив за день/час/минуту дадут по шапке?
источник
21:21пожаловаться#4

A

Andrii in Scrapy
SoHard 🎄
если я буду пихать ему кучу страниц на загрузку в архив за день/час/минуту дадут по шапке?
Хз, на етой неделе хотел запхать ему 250к страниц. Но времени нет
источник
21:22пожаловаться#5

A

Andrii in Scrapy
SoHard 🎄
если я буду пихать ему кучу страниц на загрузку в архив за день/час/минуту дадут по шапке?
Не думаю
источник
21:22пожаловаться#6

ЛГ

Лев Гареев in Scrapy
image_2020-10-22_22-05-42.png
(3.02 Кб)
Это ограничение как-нибудь снимается? пишу сразу в csv. Не мог скопировать текст, пришлось скринить
источник
22:05пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
погугли что такое code insight если так не знаешь
источник
22:06пожаловаться#8

ЛГ

Лев Гареев in Scrapy
Andrey Rahmatullin
погугли что такое code insight если так не знаешь
спасибо, почитаю
источник
22:07пожаловаться#9

ГЧ

Гнида Черножопая... in Scrapy
Оставил Selenium в фоне, через часов 6 смотрю - тормозит комп. Чекаю диспетчер задач, а там у фаерфокс 8 гб оперативки юзается. В чем причина?
источник
23:01пожаловаться#10

D

Dr. Bot in Scrapy
не закрываешь драйвер после работы
источник
23:02пожаловаться#11

D

Dr. Bot in Scrapy
driver.close() - closes the browser active window.
driver.quit() - closes all browser windows and ends driver's session/process.
источник
23:02пожаловаться#12

К

Кирилл in Scrapy
Это нормально для селениума, он часто течет, даже если закрывать всё. Он не предназначен для длительной работы
источник
23:03пожаловаться#13

D

Dr. Bot in Scrapy
сложно сказать, предназначен или нет. есть куча сервисов на его основе. де всё ок, крупные стартапы
источник
23:05пожаловаться#14

К

Кирилл in Scrapy
Эм, ну видимо они перезапускают инстансы
источник
23:05пожаловаться#15

ГЧ

Гнида Черножопая... in Scrapy
Dr. Bot
не закрываешь драйвер после работы
так у меня такой цикл
источник
23:32пожаловаться#16

ГЧ

Гнида Черножопая... in Scrapy
зачем мне перезапускать браузер?
источник
23:33пожаловаться#17

ГЧ

Гнида Черножопая... in Scrapy
хмм, а что если спустя допустим 100 циклов перезапускать
источник
23:35пожаловаться#18

ГЧ

Гнида Черножопая... in Scrapy
тогда оперативка будет сбрасываться к нулю?
источник
23:35пожаловаться#19

SS

Stepan Smirnov in Scrapy
Dr. Bot
сложно сказать, предназначен или нет. есть куча сервисов на его основе. де всё ок, крупные стартапы
У них наверное контейнеры с ограничениями
источник
23:54пожаловаться#20