Size: a a a

2021 April 08

S

SoHard 🎄 in Scrapy
он же работает всегда если подключён?
источник

S

SoHard 🎄 in Scrapy
а то есть сайт в котором как я понял хз по какому принципу то есть защита то нет
источник

S

SoHard 🎄 in Scrapy
час назад тыкал с реквестов 503 ошибка и в браузере "чек юр браузер 5 сек", а сейчас уже всё ок
источник

S

SoHard 🎄 in Scrapy
или он при нагрузке на сайт стартует?
источник

E

Evgen in Scrapy
По моему опыту зависит от региона IP.
источник

S

SoHard 🎄 in Scrapy
я его из люминати кошмарю
источник

S

SoHard 🎄 in Scrapy
каждый раз с новым айпи
источник

S

SoHard 🎄 in Scrapy
а когда он врубается то не важно из под чего заходить
источник

E

Evgen in Scrapy
Ну может играют с настройками
источник

МС

Михаил Синегубов... in Scrapy
ага, тока недавно была новость, ща
источник

МС

Михаил Синегубов... in Scrapy
CloudFlare обслуживает более 25 млн. интернет-ресурсов и проксирует через себя большое количество интернет-трафика. Имея доступ к большому объему данных, анализируя их, ребята способны понимать этот трафик и быстро находить ботов.

На днях CloudFlare анонсировал режим Super Bot Fight, который позволяет гибко управлять доступом к сайту различным ботам, плюс визуально оценивать качество трафика сайта.
https://blog.cloudflare.com/super-bot-fight-mode/

Бот-отчет включает в себя запросы:
"Вероятно автоматизированные". Трафик, который скорей всего идет от "плохих ботов". В большинстве случаев этот трафик будет вредить сайту и ничего полезного не даст взамен.
"Вероятно люди". Важный трафик.
"Верифицированный бот". Трафик от "хороших ботов" Интернета, которые верифицированы системой. Например, это поисковые боты, PayPal или Slack.

Пользователи могут заблокировать трафик с точно автоматизированных источников, включить javascript-определялку, а также заблокировать или, наоборот, добавить в белый список отдельных ботов.

Возможно, эти нововведения также затруднят сеошникам парсить чужие сайты сервисами-анализаторами.
источник

МС

Михаил Синегубов... in Scrapy
может "везде началось"?
источник

S

SoHard 🎄 in Scrapy
до этого встречал только 1 раз
источник

S

SoHard 🎄 in Scrapy
но там на неделю блокнули и сняли
источник

AR

Andrey Rahmatullin in Scrapy
Клиентского?
источник

E

Evgen in Scrapy
Ну да
источник

DF

DOG FATHER in Scrapy
Добрый день, вопрос по bs. Кто знает почему после того как получил табличные данные, после прохождения в цикле for, и получил список элементов таблицы в виде списка, при обращении по номеру элемента. Элемент не находит, а если делать тоже самое но уже в блоке Try/except спокойно находится по элементу?
источник

МС

Михаил Синегубов... in Scrapy
не находит или эксепшен вылетает?
источник

A

Andrei in Scrapy
сохранение в файл
источник

AR

Andrey Rahmatullin in Scrapy
папа, это не поиск
источник