R
я использую Scrapyd для их подъема это не меняет ситуацию?
Нет не меняет
Size: a a a
2020 May 01
TK
2. Делай настройки на уровне каждого паука custom_settings, если мне не изменяет память
Просто если я превышаю нужное мне количество то я делаю запрос на апи о том что я его преувеличила. и этот вариант на сколько я понимаю не даст возможность это предусмотреть?
К
Просто если я превышаю нужное мне количество то я делаю запрос на апи о том что я его преувеличила. и этот вариант на сколько я понимаю не даст возможность это предусмотреть?
"Апи, ты не такой крутой как я думала")
2020 May 02
GL
Здравствуйте, ребята.
Подскажите пожалуйста, я правильно понял что Scrapy может каждые 5 минут (например) обновлять jsonfeed, и переделав этот фид по заданному шаблону транслировать так необходимый мне rss?
Подскажите пожалуйста, я правильно понял что Scrapy может каждые 5 минут (например) обновлять jsonfeed, и переделав этот фид по заданному шаблону транслировать так необходимый мне rss?
GL
ну да, это же xml
ага, спасибо
AR
Звучит как задача не для скрапи
🎅B
Переслано от 🎅 Austin Bluethy
Кто-нибудь парсил инстагарм? Если да, то что лучше (splash или selenium) или python-instagram api ?
GL
Звучит как задача не для скрапи
поделитесь рекомендациями, в какую сторону лучше смотреть?
К
поделитесь рекомендациями, в какую сторону лучше смотреть?
ну, тебе нужно три части, кравлер/парсер чтоб получать ленту, что-то для модификации html типа bs, и сервер чтоб раздавать новую ленту
GL
ну, тебе нужно три части, кравлер/парсер чтоб получать ленту, что-то для модификации html типа bs, и сервер чтоб раздавать новую ленту
ну то есть простых решений нет 😞
AR
смотря что делать с рссом
К
ну то есть простых решений нет 😞
это достаточно просто)
AR
если просто на диск кидать то простой питоний скрипт в крон
GL
это достаточно просто)
MV
А для регистрации на сайте, перехода на одну страницу и спарсивания нескольких статических элементов а таком случае, что лучше🤔
GL
если просто на диск кидать то простой питоний скрипт в крон
нет, мне нужно много лент так транслировать
GL
в любом случае спасибо
К
А для регистрации на сайте, перехода на одну страницу и спарсивания нескольких статических элементов а таком случае, что лучше🤔
scrapy)
MV
scrapy)
Ну хорошо🌚
Просто вчера в него вдарился и мало что понял
Просто вчера в него вдарился и мало что понял