К
Size: a a a
2020 December 01
BL
да, я понимаю, но это какой-то ненадежный способ: придется каждый нечетный элемент считать за key, а четный - за value.
сделай предположение что теги идут в указанном тобой порядке и спарси
вставь проверку что это реально так, если не так падай с ошибкой и смотри что не так
вставь проверку что это реально так, если не так падай с ошибкой и смотри что не так
DO
Примерно так (предполагая, что dt - titles, dd - descriptions):
dl_data = {}
active_key = ""
for tag in response.css("dl dt, dl dd"):
if tag.root.tag == "dt":
active_key = tag.css("::text").get()
elif tag.root.tag == "dd":
dl_data[active_key] = tag.css("::text").get()Спасибо. Я сделал пока +- тоже самое, но страшней и на xpath. Вопрос мой был скорее, вдруг есть уже готовый шорткат для такого.
DO
сделай предположение что теги идут в указанном тобой порядке и спарси
вставь проверку что это реально так, если не так падай с ошибкой и смотри что не так
вставь проверку что это реально так, если не так падай с ошибкой и смотри что не так
ага, спасибо. Буду проверять, как минимум, что их одинаковое количество.
A
Как ето тоже самое но на хпатч?
К
Спасибо. Я сделал пока +- тоже самое, но страшней и на xpath. Вопрос мой был скорее, вдруг есть уже готовый шорткат для такого.
Нету такого готового. Это пару строчек, и каждый может их сам написать, в зависимости от верстки
DO
Нету такого готового. Это пару строчек, и каждый может их сам написать, в зависимости от верстки
Так можно сказать про очень многое) но вдруг это очень частый кейс и don’t repeat yourself - их добавили в скрапи
К
Так можно сказать про очень многое) но вдруг это очень частый кейс и don’t repeat yourself - их добавили в скрапи
Да, это касается многого
Ra
о, благодарю
про точку не знал
про точку не знал
2020 December 02
ПС
Здравствуйте. Собираю комменты с инстаграма requests-ами. Создаю объект сессии и авторизуюсь (кусок кода). После авторизации 1-2 запроса к graphql возвращают нужные мне данные, а потом скрипт падает, т.к. инстаграм редиректит запрос на страницу логина. Может кто подсказать куда копать?
AR
Смелый
DO
Здравствуйте. Собираю комменты с инстаграма requests-ами. Создаю объект сессии и авторизуюсь (кусок кода). После авторизации 1-2 запроса к graphql возвращают нужные мне данные, а потом скрипт падает, т.к. инстаграм редиректит запрос на страницу логина. Может кто подсказать куда копать?
Инста не через веб парсится) а через эмуляцию андройд девайса. И то публичные репо тебе не помогут - нужно самому сниффить девайс или платить Деньги за этот сервис)
DS
Hi Everyone,
can i get your help please?
I am using *windows 10, VSCode, python 3.9*
I have installed and activated venv , in this venv I'm trying to install scrapy using:
*pip install scrapy*
and I'm getting an error regards to:
"twisted"
"ERROR: Command errored out with exit status 1: 'c:\users\{USERNAME}\{ProjectFolder}\venv\venv\scripts\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"'; file='"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(file);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, file, '"'"'exec'"'"'))' install --record 'C:\Users\{Username}\AppData\Local\Temp\pip-record-2ag6uk4i\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\users\{Username}\{ProjectFoler}\venv\venv\include\site\python3.9\Twisted' Check the logs for full command output.
Can anyone help with that?
can i get your help please?
I am using *windows 10, VSCode, python 3.9*
I have installed and activated venv , in this venv I'm trying to install scrapy using:
*pip install scrapy*
and I'm getting an error regards to:
"twisted"
"ERROR: Command errored out with exit status 1: 'c:\users\{USERNAME}\{ProjectFolder}\venv\venv\scripts\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"'; file='"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(file);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, file, '"'"'exec'"'"'))' install --record 'C:\Users\{Username}\AppData\Local\Temp\pip-record-2ag6uk4i\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\users\{Username}\{ProjectFoler}\venv\venv\include\site\python3.9\Twisted' Check the logs for full command output.
Can anyone help with that?
МС
Hi Everyone,
can i get your help please?
I am using *windows 10, VSCode, python 3.9*
I have installed and activated venv , in this venv I'm trying to install scrapy using:
*pip install scrapy*
and I'm getting an error regards to:
"twisted"
"ERROR: Command errored out with exit status 1: 'c:\users\{USERNAME}\{ProjectFolder}\venv\venv\scripts\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"'; file='"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(file);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, file, '"'"'exec'"'"'))' install --record 'C:\Users\{Username}\AppData\Local\Temp\pip-record-2ag6uk4i\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\users\{Username}\{ProjectFoler}\venv\venv\include\site\python3.9\Twisted' Check the logs for full command output.
Can anyone help with that?
can i get your help please?
I am using *windows 10, VSCode, python 3.9*
I have installed and activated venv , in this venv I'm trying to install scrapy using:
*pip install scrapy*
and I'm getting an error regards to:
"twisted"
"ERROR: Command errored out with exit status 1: 'c:\users\{USERNAME}\{ProjectFolder}\venv\venv\scripts\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"'; file='"'"'C:\\Users\\{Username}\\AppData\\Local\\Temp\\pip-install-ysjoh1_m\\twisted_9b78e1ea4a534d6391e33ac2db03e2b8\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(file);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, file, '"'"'exec'"'"'))' install --record 'C:\Users\{Username}\AppData\Local\Temp\pip-record-2ag6uk4i\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\users\{Username}\{ProjectFoler}\venv\venv\include\site\python3.9\Twisted' Check the logs for full command output.
Can anyone help with that?
DS
i cannot use conda... i need to do this with python
AR
" Check the logs for full command output."
AR
if you decided to compile the modules, you need to find the compile errors and fix them
AR
this also isn't related to scrapy in any way
DS
" Check the logs for full command output."
