NK
Это типа эмуляция жски?
Size: a a a
2018 July 25
B
генерирует js через chromium
NK
Господи, какая же говнина
B
а как ты будешь генерить JS?
NK
Зачем?
B
например токен генерится
NK
А) Дебажить код на сайте
Б) Юзать хедлесс браузер
Б) Юзать хедлесс браузер
NK
Всё что я там увидел - тупо парсинг
B
для скрапи есть Splash
B
ID:200200555
А) Дебажить код на сайте
Б) Юзать хедлесс браузер
Б) Юзать хедлесс браузер
ну да, тоже варианты. Но мы же хотим попроще
EB
а оно js может? вроде же обвертка над лхмл
A
освежим нашу беседу новым пакетом, только для python 3.6:
https://html.python-requests.org/
по факту тот же requests только умеет генерировать JS
прислано нашим анонимным читателем :)
https://html.python-requests.org/
по факту тот же requests только умеет генерировать JS
прислано нашим анонимным читателем :)
Так погодите
Это же немного не дотягивает до того, чтобы bs4 был не нужен
Или я что-то не так понял?
Это же немного не дотягивает до того, чтобы bs4 был не нужен
Или я что-то не так понял?
B
а оно js может? вроде же обвертка над лхмл
JavaScript Support
Let’s grab some text that’s rendered by JavaScript:
>>> r = session.get('http://python-requests.org/')
>>> r.html.render()
>>> r.html.search('Python 2 will retire in only {months} months!')['months']
'<time>25</time>'
B
или даже так:
B
You can also use this library without Requests:
>>> from requests_html import HTML
>>> doc = """<a href='https://httpbin.org'>"""
>>> html = HTML(html=doc)
>>> html.links
{'https://httpbin.org'}
You can also render JavaScript pages without Requests:
# ^^ proceeding from above ^^
>>> script = """
() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}
"""
>>> val = html.render(script=script, reload=False)
>>> print(val)
{'width': 800, 'height': 600, 'deviceScaleFactor': 1}
>>> print(html.html)
<html><head></head><body><a href="https://httpbin.org"></a></body></html>
B
Так погодите
Это же немного не дотягивает до того, чтобы bs4 был не нужен
Или я что-то не так понял?
Это же немного не дотягивает до того, чтобы bs4 был не нужен
Или я что-то не так понял?
я его вообще не юзаю когда есть lxml :)
EB
обертка над супом
EB
REQUIRED = [
'requests', 'pyquery', 'fake-useragent', 'parse', 'bs4', 'w3lib', 'pyppeteer>=0.0.14'
]
'requests', 'pyquery', 'fake-useragent', 'parse', 'bs4', 'w3lib', 'pyppeteer>=0.0.14'
]
B
а в супе есть генерация JS?
A
я его вообще не юзаю когда есть lxml :)
Пхпхпх
Ну Оки доки
Ну Оки доки