Size: a a a

2019 August 11

i

ildar in Scrapy
как я понял он про бесплатные тарифы на хероку
источник

R

Roma in Scrapy
Я не знаю про именно хероку, но некоторые хостинги запрещают делать прокси сервер на их площадках, я не удивлюсь что это и в хероку запрещено
источник

JW

John Wayne in Scrapy
https://github.com/Miserlou/HerokuFreeProxy вот такое нашел, вроди как работает
https://YOUR_APP_NAME.herokuapp.com/proxy/+self.start_urls[0]
Хероку то не обидится, если скажем таких 100 сделать
источник

R

Roma in Scrapy
Я почитаю, поизучаю это. Видел как то толи туториал толи видос как на в Гугле чувак разворачивал 100 проксей, парсил данные а потом останавливал, но мне такой вариант не подходит
источник

iz

izzz zzi in Scrapy
как оттестишь отпиши)
источник
2019 August 12

G

Grigory in Scrapy
Как сделать запрос на сайт, если там жс при запросе с редиректом? Вот сайт - http://footdistrict.com
источник

G

Grigory in Scrapy
Хелпаните пж
источник

К

Кирилл in Scrapy
если js несложный то смотри куда оно редиректит, если сложный тогда splash или selenium
источник

G

Grigory in Scrapy
Кирилл
если js несложный то смотри куда оно редиректит, если сложный тогда splash или selenium
На сайт который надо редиректит
источник

G

Grigory in Scrapy
А есть экземпл юзания сплеша в этом случае а то я не нашёл чёт
источник

К

Кирилл in Scrapy
Grigory
А есть экземпл юзания сплеша в этом случае а то я не нашёл чёт
по идее простой render.html нормально отработает
источник
2019 August 13

R

Roma in Scrapy
источник

R

Roma in Scrapy
Для общего развития
источник
2019 August 14

АН

Алексей Нагорский in Scrapy
Такой вопрос, не догоняю как провернуть повторный запус одной из функций, типа start_requests > custom_def > start_requests?
источник

АН

Алексей Нагорский in Scrapy
Если капчу не прокатило решить, надо получить ответ, увидеть, что не прокатило и начать всё заново
источник

МС

Михаил Синегубов in Scrapy
Алексей Нагорский
Если капчу не прокатило решить, надо получить ответ, увидеть, что не прокатило и начать всё заново
ээээ, ну, а вопрос в чем? если стартовый УРЛ нужен, то:
- реквест же вроде хранит исходный УРЛ
- ты всегда можеш в мете передать и УРЛ и данные какие хочешь
источник

АН

Алексей Нагорский in Scrapy
Михаил Синегубов
ээээ, ну, а вопрос в чем? если стартовый УРЛ нужен, то:
- реквест же вроде хранит исходный УРЛ
- ты всегда можеш в мете передать и УРЛ и данные какие хочешь
Нит
источник

АН

Алексей Нагорский in Scrapy
Мне нужно целую цепочку опять прогнать
источник

АН

Алексей Нагорский in Scrapy
если делать реквест с елдом на предыдущие дефы, то они чет как-то это, не срабатывают
источник

К

Кирилл in Scrapy
Алексей Нагорский
Мне нужно целую цепочку опять прогнать
Просто вызови еще раз start_requests
источник