MN
Всем привет, подскажите как спарсить данные которые подргужаются в .js? Возможно ли это сделать используя какую нибудь пайтон библиотеку?
Size: a a a
2020 August 29
M
Всем привет, подскажите как спарсить данные которые подргужаются в .js? Возможно ли это сделать используя какую нибудь пайтон библиотеку?
Очень просто. Смотри, какие запросы жс делает к серверу, и делай такие же запросы из своего кода.
Это даже проще, чем парсить страничку, ибо в ответе скорее всего будет json)
Это даже проще, чем парсить страничку, ибо в ответе скорее всего будет json)
M
Посмотреть на вкладке network в девтулс можно, а запросы делать через requests например
MN
Очень просто. Смотри, какие запросы жс делает к серверу, и делай такие же запросы из своего кода.
Это даже проще, чем парсить страничку, ибо в ответе скорее всего будет json)
Это даже проще, чем парсить страничку, ибо в ответе скорее всего будет json)
В ответе не json, а какой то код javascript помоему
M
Вряд ли, либо ты что-то не то смотришь. Покажи пример ответа
MN
M
А тыкни на вкладку response
M
Там тож самое?
MN
А тыкни на вкладку response
Так это и есть, просто в более красивом ввиде. В response это все написано одной строкой
M
Пиздец
M
Тут мои полномочия все, но хочу увезти в лес того кто такое сделал
M
Это жс потом в eval походу оборачивается и выполняется
M
Всем привет, подскажите как спарсить данные которые подргужаются в .js? Возможно ли это сделать используя какую нибудь пайтон библиотеку?
Но как вариант, используй selenium. Тут, тут у тебя будет уже поддержка жс со всеми вытекающими
MN
Но как вариант, используй selenium. Тут, тут у тебя будет уже поддержка жс со всеми вытекающими
Он не догружает до конца все данные
<Ч
Он не догружает до конца все данные
Делай что-то типа
WebDriverWait(driver, 10).until(
ec.element_to_be_clickable((By.ID, "button_id"))
)<Ч
Там в доке есть подробнее как этим пользоваться
MN
Делай что-то типа
WebDriverWait(driver, 10).until(
ec.element_to_be_clickable((By.ID, "button_id"))
)Я до этого так делал, но сейчас пришла мысль ждать загрузки последнего элемента в списке
AM
Я даун ща
AM
from konoha import Saske