МС
А для регистрации на сайте, перехода на одну страницу и спарсивания нескольких статических элементов а таком случае, что лучше🤔
Если тебе пару страниц после авторизации надо пройти - нафиг тебе скрапи не нужен
Size: a a a
2020 May 02
К
Если тебе пару страниц после авторизации надо пройти - нафиг тебе скрапи не нужен
не патриот ты)
МС
не патриот ты)
Я патриот, просто не извращенец😝
MV
Если тебе пару страниц после авторизации надо пройти - нафиг тебе скрапи не нужен
Ну, на селениуме я застрял на том моменте, что не могу перейти на страницу по ссылке, в пределах сессии, но вроде там можно такое сделать🤔
МС
Ну, на селениуме я застрял на том моменте, что не могу перейти на страницу по ссылке, в пределах сессии, но вроде там можно такое сделать🤔
Ой, я хз, я силениум ни разу не запускал
MV
Ой, я хз, я силениум ни разу не запускал
та у меня есть опасение, что оно на сервере не будет работать , не зря же это веб драйвер
MV
А есть аналог скрапи только попроще 🌚 ?
MV
Ах да)
B
Переслано от 🎅 Austin Bluethy
Кто-нибудь парсил инстагарм? Если да, то что лучше (splash или selenium) или python-instagram api ?
Там они раньше обычный Json отдавали, как сейчас не знаю
AR
да, там был graphql
🎅B
Там они раньше обычный Json отдавали, как сейчас не знаю
Я решил юзать splash. Тем более у меня линукс, а не 7 винда. И я могу себе позволить докер)
B
Я решил юзать splash. Тем более у меня линукс, а не 7 винда. И я могу себе позволить докер)
В Windows тоже есть докер, тут дело в скорости. Если данных не много почему бы и нет.
🎅B
В Windows тоже есть докер, тут дело в скорости. Если данных не много почему бы и нет.
Я не смог поставить
🎅B
Там какая-то фигня была с виртуал боксом
G
Добрый день, вопрос не по фреймворку, но тоже по парсингу, скорее по asyncio.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
B
Georg
Добрый день, вопрос не по фреймворку, но тоже по парсингу, скорее по asyncio.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
Можно же просто парсить например в файл, а потом пост обрабатку делать
G
Можно же просто парсить например в файл, а потом пост обрабатку делать
Мне нужно чтоб все автоматизированно))
К
Georg
Добрый день, вопрос не по фреймворку, но тоже по парсингу, скорее по asyncio.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
Пишу сервис для работы с апи, а точнее парсю некоторые данные, на aiohttp. Хочу разделить обработку новых данных и сам парсер, чтобы иметь возможность удобно чекать их корректность и актуальность перед отправкой в бд, а так же запускать по таймингу метод, не связанный с парсингом, но связанный с базой данных.
Мне не хватает навыков асинхронного программирования, чтобы придумать эффективный способ как это можно сделать.
Спасибо.
так и в чем вопрос?)