Н
Там же и секрет ищи
Привет.
Для поиска роботы/ сотрудника этого есть отдельный чат.
Зайдите в описание чата, там будет на него ссылка
Size: a a a
2020 September 05
Y
DI
Yaroslav
Привет.
Для поиска роботы/ сотрудника этого есть отдельный чат.
Зайдите в описание чата, там будет на него ссылка
Для поиска роботы/ сотрудника этого есть отдельный чат.
Зайдите в описание чата, там будет на него ссылка
Хорошо, спасибо
AD
очень интересно как связаны джанго-вьюхи и селениум парсинг.
Можно по-подробнее?
Можно по-подробнее?
AD
имею ввиду, я не могу себе представить ситуацию когда селениуму было бы"интересно" что именно на бекенде формировало ответ для клиента. Интригующе :))
Н
имею ввиду, я не могу себе представить ситуацию когда селениуму было бы"интересно" что именно на бекенде формировало ответ для клиента. Интригующе :))
Допустим, есть сторонний ресурс, у которого нет апи открытого, но ты хочешь предоставлять данные юзеру с этого ресурса, риалтайм
AD
Допустим, есть сторонний ресурс, у которого нет апи открытого, но ты хочешь предоставлять данные юзеру с этого ресурса, риалтайм
а зачем тогда селениум?
AD
селениум как парсер есть смысл использовать только для парсинга ДОМ дерева
AD
а так есть beautiful soup и подобные либы
AD
а, хотя я понял твою идею, сорри
но все равно непонятно, что означает уточнение
"Писать парсинг придется внутри джанго-вьюх."
но все равно непонятно, что означает уточнение
"Писать парсинг придется внутри джанго-вьюх."
DI
а, хотя я понял твою идею, сорри
но все равно непонятно, что означает уточнение
"Писать парсинг придется внутри джанго-вьюх."
но все равно непонятно, что означает уточнение
"Писать парсинг придется внутри джанго-вьюх."
Суть использования такая - пользователь на странице, которую хочет спарсить, вызывает метод расширения, оно собирает хтмл и посылает на бекенд, где уже идёт парсинг
N
Запускать внутри вьюх сложные процессы это плохо, имхо
VD
селениум как парсер есть смысл использовать только для парсинга ДОМ дерева
Dom отлично парсится lxml (возможно, после исправления косяков через beautifulsoup). Тот же scrapy им пользуется.
N
Лучше пусть целари по тихой ходит, и делает задачки такие
AD
Суть использования такая - пользователь на странице, которую хочет спарсить, вызывает метод расширения, оно собирает хтмл и посылает на бекенд, где уже идёт парсинг
честно говоря не понимаю, что такое "метод расширения", но суть заключается в том, что либо используется селениум для парсинга/тестирования DOM, и тогда не важно, что там на беках отрабатывало рендер страницы - джанго, торнадо либо любой другой фреймворк, либо, если мы говорим именно о парсинге вьюх, в частности джанговских, то селениум нафиг не сдался, для этого есть более легковесные инструменты
DI
честно говоря не понимаю, что такое "метод расширения", но суть заключается в том, что либо используется селениум для парсинга/тестирования DOM, и тогда не важно, что там на беках отрабатывало рендер страницы - джанго, торнадо либо любой другой фреймворк, либо, если мы говорим именно о парсинге вьюх, в частности джанговских, то селениум нафиг не сдался, для этого есть более легковесные инструменты
Я с вами согласен уже)
VD
Суть использования такая - пользователь на странице, которую хочет спарсить, вызывает метод расширения, оно собирает хтмл и посылает на бекенд, где уже идёт парсинг
А почему нельзя через requests получить html?
DI
Html так и так получается
DI
Вопрос дальше в том, как его парсить
N
Вопрос дальше в том, как его парсить
А что именно?