Телеграмм чат группы scrapy

Size: a a a

Scrapy

380 membersпожаловаться на группу

2019 August 11

ildar in Scrapy

как я понял он про бесплатные тарифы на хероку

источник

20:21пожаловаться #1

Roma in Scrapy

Я не знаю про именно хероку, но некоторые хостинги запрещают делать прокси сервер на их площадках, я не удивлюсь что это и в хероку запрещено

источник

20:24пожаловаться #2

John Wayne in Scrapy

https://github.com/Miserlou/HerokuFreeProxy вот такое нашел, вроди как работает
https://YOUR_APP_NAME.herokuapp.com/proxy/+self.start_urls[0]
Хероку то не обидится, если скажем таких 100 сделать

GitHub

Miserlou/HerokuFreeProxy

A very very very very simple web proxy that runs on the Heroku free tier. Written in 2 minutes. - Miserlou/HerokuFreeProxy

источник

20:37пожаловаться #3

Roma in Scrapy

Я почитаю, поизучаю это. Видел как то толи туториал толи видос как на в Гугле чувак разворачивал 100 проксей, парсил данные а потом останавливал, но мне такой вариант не подходит

izzz zzi in Scrapy

Miserlou/HerokuFreeProxy

A very very very very simple web proxy that runs on the Heroku free tier. Written in 2 minutes. - Miserlou/HerokuFreeProxy

как оттестишь отпиши)

источник

20:51пожаловаться #5

2019 August 12

Grigory in Scrapy

Как сделать запрос на сайт, если там жс при запросе с редиректом? Вот сайт - http://footdistrict.com

источник

12:21пожаловаться #6

Grigory in Scrapy

Хелпаните пж

источник

12:21пожаловаться #7

Кирилл in Scrapy

если js несложный то смотри куда оно редиректит, если сложный тогда splash или selenium

источник

12:24пожаловаться #8

Grigory in Scrapy

Кирилл

если js несложный то смотри куда оно редиректит, если сложный тогда splash или selenium

На сайт который надо редиректит

источник

12:24пожаловаться #9

Grigory in Scrapy

А есть экземпл юзания сплеша в этом случае а то я не нашёл чёт

источник

12:24пожаловаться #10

Кирилл in Scrapy

Grigory

А есть экземпл юзания сплеша в этом случае а то я не нашёл чёт

по идее простой render.html нормально отработает

источник

12:26пожаловаться #11

2019 August 13

Roma in Scrapy

https://m.habr.com/ru/post/463525/

Habr

Selenium, Selenoid, Selenide, Selendroid… Что все это значит?

Привет, Хабр! В мире автоматизации новичку ориентироваться довольно сложно. Приходится узнавать множество понятий, разбираться в особенностях существующих инстр...

источник

19:00пожаловаться #12

Roma in Scrapy

Для общего развития

источник

19:00пожаловаться #13

2019 August 14

АН

Алексей Нагорский in Scrapy

Такой вопрос, не догоняю как провернуть повторный запус одной из функций, типа start_requests > custom_def > start_requests?

источник

14:50пожаловаться #14

АН

Алексей Нагорский in Scrapy

Если капчу не прокатило решить, надо получить ответ, увидеть, что не прокатило и начать всё заново

источник

14:50пожаловаться #15

МС

Михаил Синегубов in Scrapy

Алексей Нагорский

Если капчу не прокатило решить, надо получить ответ, увидеть, что не прокатило и начать всё заново

ээээ, ну, а вопрос в чем? если стартовый УРЛ нужен, то:
- реквест же вроде хранит исходный УРЛ
- ты всегда можеш в мете передать и УРЛ и данные какие хочешь

источник

14:57пожаловаться #16

АН

Алексей Нагорский in Scrapy

Михаил Синегубов

Нит

источник

14:57пожаловаться #17

АН

Алексей Нагорский in Scrapy

Мне нужно целую цепочку опять прогнать

источник