Size: a a a

2020 November 27

К

Кирилл in Scrapy
Если тип можно привести и у тебя задано int, а приходит к кримеру '123' то он сделает 123 А если нельзя, будет исключение
источник
2020 November 28

A

Andrii in Scrapy
Хелоу. Может кто знает, есть ли алгоритм для скрейпинга autosuggestion
источник

MM

Maxim Matantsev in Scrapy
Проблема такая:
У меня есть объекты. У них должна быть строгая типизация.
То-есть если поле может быть типом list, то он ВСЕГДА должен быть типом list, иначе надо отлавливать ошибку. Либо, если поле не заполнили значением, то оно остается по умолчанию None.
Весь прикол в том, что в рантайме питон может любой объект заполнить любым значением. Но мне не надо это как-то избежать.
Какие есть решение таких проблем?

pydantic не подходит тем, что его нельзя использовать с ItemLoader
источник

К

Кирилл in Scrapy
При чем тут айтем лоадер
источник

MM

Maxim Matantsev in Scrapy
Кирилл
При чем тут айтем лоадер
Потому-что через него создаю айтем
источник

К

Кирилл in Scrapy
1. В pydantic есть те же датаклассы, который поддерживает скрапи.
2. Можно не использовать айтем лоадер

Какие-то проблемы на ровном месте
источник

СТ

Семён Трояновский... in Scrapy
из этих двух вариантов mypy выглядит симпатичнее - там обещают compile-time проверку типов. в pydantic похоже придется падать в рантайме
источник

MM

Maxim Matantsev in Scrapy
решил проблему вручную. pydantic и mypy не смогли мне помочь
источник

К

Кирилл in Scrapy
Семён Трояновский
из этих двух вариантов mypy выглядит симпатичнее - там обещают compile-time проверку типов. в pydantic похоже придется падать в рантайме
У них просто разное назначение. Оба пакета очень крутые
источник

i

i in Scrapy
Maxim Matantsev
А в самом Scrapy есть что-нибудь готовое для этого? ItemLoader как-то не очень с этим справляется
ну ты можешь делать с датаклассами. Но имхо то, что тебе надо это тебе в itemloaders надо смотреть. а так да, тебе type annotations питона не обещают рантайм проверку. Просто юзая пичарм, к примеру, он тебе подсветит ярко место, где ты ошибся.
источник

i

i in Scrapy
еще Коробов в конференции последней рассказывал развитие фреймворка и вот про датаклассы и использование cb_cwargs, как это можно сделать, сравнить тип и что-то сделать с этим - он приводил пример для cookiejar
источник

i

i in Scrapy
источник

i

i in Scrapy
вот этот видос
источник

М

Мур in Scrapy
Ребзя json и кириллица, кто нить может подсказать как это пофиксить?
источник

К

Кирилл in Scrapy
Мур
Ребзя json и кириллица, кто нить может подсказать как это пофиксить?
А в чем проблема?
источник

М

Мур in Scrapy
Все как в документации в учебнике делал
источник

К

Кирилл in Scrapy
Давай без фоток монитора
источник

К

Кирилл in Scrapy
С этим не нужно ничего делать, это эскейп юникода
источник

М

Мур in Scrapy
Ок, короче кодировка вот такая дикая
источник

М

Мур in Scrapy
Кирилл
С этим не нужно ничего делать, это эскейп юникода
И это норма получается?
источник