AL
Все три варианта сразу)
Печально, если так )
Size: a a a
2020 October 18
AR
Андрей, у вас задача оценить мой опыт, или помочь, или показать, что вы круче? )
ясно
AL
Ок, давайте меряться опытом: вот резюме - https://career.habr.com/voice-msk
Именно парсингом я занимаюсь с 2016 года. У меня написан свой аналог Scarpy на perl/php/go. Я написал более 100 парсеров руками. У меня есть свои алгоритмы, которые автоматически выдирают хлебные крошки и цены. Нет проблемы получить информацию с большинства сайтов из ТОП100 магазинов.
И вы мне пишете, что у меня мало опыта?
Я задал вполне конкретный вопрос. Мне нужен был простой ответ. Если его нет - не надо кидаться "у вас мало опыта". Это не корректно.
Именно парсингом я занимаюсь с 2016 года. У меня написан свой аналог Scarpy на perl/php/go. Я написал более 100 парсеров руками. У меня есть свои алгоритмы, которые автоматически выдирают хлебные крошки и цены. Нет проблемы получить информацию с большинства сайтов из ТОП100 магазинов.
И вы мне пишете, что у меня мало опыта?
Я задал вполне конкретный вопрос. Мне нужен был простой ответ. Если его нет - не надо кидаться "у вас мало опыта". Это не корректно.
AR
AL
помимо ручных парсеров, мои скрипты обходят тысячи сайтов и собирают информацию автоматически. И? У меня мало опыта?
AL
Андрей, вы не хотите извиниться?
AR
ох
AR
извиняюсь, соглашусь что бывают ситуации когда большой опыт не даёт понимания
AR
Ну либо правда все парсеры одинаковые и для простых дизайнов
AL
Андрей, я не умею так изысканно стебать ) никогда не стремился развивать в себе такие отрицательные черты характера.
Я описал "примерный алгоритм" из которого вы сделали странный вывод о моем опыте ) Мне нужно было написать более подробно, заменив "класс" на "id, если есть", вместо "вверх по дереву" написать "взглянуть на ось ancestor:: и выбрать на ней ближайший уникальный элемент", чтобы отделить область страницы? ...под "область страницы" - например, какой-нибудь #productDetail (описывающий основную часть карточки товара), внутри которого есть искомый span.price . Ибо, в карточке товара, обычно внизу есть что-то вроде "похожие товары", в которых ещё 10 span.price, и, чтобы автоматически запомнить блок с ценой, нужно запомнить его в виде //div[@id='productDetail']//span[@class='price'], а не просто //span[@class='price']
Что ж там было такого, что свидетельствует о малом опыте? Что? )
Я описал "примерный алгоритм" из которого вы сделали странный вывод о моем опыте ) Мне нужно было написать более подробно, заменив "класс" на "id, если есть", вместо "вверх по дереву" написать "взглянуть на ось ancestor:: и выбрать на ней ближайший уникальный элемент", чтобы отделить область страницы? ...под "область страницы" - например, какой-нибудь #productDetail (описывающий основную часть карточки товара), внутри которого есть искомый span.price . Ибо, в карточке товара, обычно внизу есть что-то вроде "похожие товары", в которых ещё 10 span.price, и, чтобы автоматически запомнить блок с ценой, нужно запомнить его в виде //div[@id='productDetail']//span[@class='price'], а не просто //span[@class='price']
Что ж там было такого, что свидетельствует о малом опыте? Что? )
A
Вопрос, при чем тут скрапи?
AR
Андрей, я не умею так изысканно стебать ) никогда не стремился развивать в себе такие отрицательные черты характера.
Я описал "примерный алгоритм" из которого вы сделали странный вывод о моем опыте ) Мне нужно было написать более подробно, заменив "класс" на "id, если есть", вместо "вверх по дереву" написать "взглянуть на ось ancestor:: и выбрать на ней ближайший уникальный элемент", чтобы отделить область страницы? ...под "область страницы" - например, какой-нибудь #productDetail (описывающий основную часть карточки товара), внутри которого есть искомый span.price . Ибо, в карточке товара, обычно внизу есть что-то вроде "похожие товары", в которых ещё 10 span.price, и, чтобы автоматически запомнить блок с ценой, нужно запомнить его в виде //div[@id='productDetail']//span[@class='price'], а не просто //span[@class='price']
Что ж там было такого, что свидетельствует о малом опыте? Что? )
Я описал "примерный алгоритм" из которого вы сделали странный вывод о моем опыте ) Мне нужно было написать более подробно, заменив "класс" на "id, если есть", вместо "вверх по дереву" написать "взглянуть на ось ancestor:: и выбрать на ней ближайший уникальный элемент", чтобы отделить область страницы? ...под "область страницы" - например, какой-нибудь #productDetail (описывающий основную часть карточки товара), внутри которого есть искомый span.price . Ибо, в карточке товара, обычно внизу есть что-то вроде "похожие товары", в которых ещё 10 span.price, и, чтобы автоматически запомнить блок с ценой, нужно запомнить его в виде //div[@id='productDetail']//span[@class='price'], а не просто //span[@class='price']
Что ж там было такого, что свидетельствует о малом опыте? Что? )
вёрстки разные бывают, а заменить класс на айди это всё ещё очень узко, но успехов
EB
сам себя не похвалишь, никто не похвалит)
EB
вообще достаточно редкий кейс “есть элемент, нужно достать его xpath”, очень сомневаюсь, что есть что-то готовое
A
mobile_emulation = {
"deviceMetrics": {"width": 800, "height": 1000, "pixelRatio": 3.0},
"userAgent": "Mozilla/5.0 (Linux; Android 11.2.1; en-us; Nexus 10 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/88.0.1025.166 Mobile Safari/535.19"}
chrome_options = webdriver.ChromeOptions()A
кто подскажет, ето коректной ЮА ?
userAgentAR
Похож, а что?
AR
Опять же каких-то стандартов на его содержимое нет
A
Опять же каких-то стандартов на его содержимое нет
Имею ввмду что пишет userAgent, а не user-agent