Size: a a a

2021 April 01

i

i in Scrapy
Andrey Rahmatullin
Применять все, возьмётся первый результат
ну тогда это не ээээ, вроде же не сработает?
источник

AR

Andrey Rahmatullin in Scrapy
если нет итемлоадеров то руками лол
источник

i

i in Scrapy
ну просто не все их используют по-умолчанию, я в том плане, что может он про них и не знал
источник

i

i in Scrapy
я к примеру в свое время очень удивился)
источник

i

i in Scrapy
SoHard 🎄
я parsel и реквесты использую
нет скрапи - нет ножек) Хотя может их также как парсель импортнуть и заюзать можно
источник

EU

Egor Urvanov in Scrapy
Кто-нибудь занимался расковыриванием скрытых апи и генерацией фингер-принтов руками?
источник

AR

Andrey Rahmatullin in Scrapy
смотря о чём речь
источник

EU

Egor Urvanov in Scrapy
Например, на бэк уезжает такой запрос. В нём есть параметр r, который генерируют какие-то js-скрипты. Вопрос в том, что нужно понять, кто и как его генерит и научиться это делать ручками
источник

AR

Andrey Rahmatullin in Scrapy
бряк поставь в скрипте
источник

AR

Andrey Rahmatullin in Scrapy
благо у остальных параметров имена нормальные и код будет найти несложно скорее всего
источник

EU

Egor Urvanov in Scrapy
Andrey Rahmatullin
бряк поставь в скрипте
Понятное дело. Только многопоточность да и запутаны часто. Функции называются буквами. Ну, т.е. это та ещё задачка. Вот, хочу узнать, кто как дебажит их.
источник

EU

Egor Urvanov in Scrapy
Может, у кого какие подходы есть
источник
2021 April 02

A

Andrii in Scrapy
Сначала повтори запрос без r
источник

EU

Egor Urvanov in Scrapy
Andrii
Сначала повтори запрос без r
Да это фигня. Без r, конечно, отрабатывает некорректно
источник

S

SoHard 🎄 in Scrapy
Может кто знает, как перевести текст на другой язык не переводя html тэги?
источник

AR

Andrey Rahmatullin in Scrapy
как гугл транслейт в хроме делает
источник

AR

Andrey Rahmatullin in Scrapy
поэлементно
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
как гугл транслейт в хроме делает
нарыл вот такое https://github.com/uliontse/translators
источник

S

SoHard 🎄 in Scrapy
оно умеет тэги пропускать
источник

AR

Andrey Rahmatullin in Scrapy
pattern = re.compile(r"(?:^|(?<=>))([\s\S]*?)(?:(?=<)|$)") #TODO: <code></code>
repl = lambda x: translator(query_text=x.group(1).strip(), to_language=to_language,**translator_params) if x.group(1).strip() else ''
return re.sub(pattern=pattern, repl=repl, string=html_text)
источник