Телеграмм чат группы scrapy

11:12пожаловаться #1

Bulatbulat48 in Scrapy

John Wayne

Ну вот есть кнопка
<h3 class="title-item contact-click btn btn-blue btn-lg btns_clock_width wu_paddings_class" onclick="loadContacts()">Контакты</h3>
её жмешь идет POST реквест, и в формдате нужные данные, как их брать, если форма это кнопка

смотришь в хроме, если данные как формреквест берешь scrapy.FormRequest и делаешь словарь formdata она сама прогоняет через urlencode. Если payload тогда json.dumps либо копируй рав, как-то так наверное.

12:32пожаловаться #2

serhii in Scrapy

https://scrapy.org/companies/ - как вариант, если кто-то ищет работу на скрапи, то можно в этот списочек поотсылать сиви=)

13:02пожаловаться #3

Mohamad in Scrapy

Чето у меня такой экспрешн не работает, я же все норм делаю?

13:47пожаловаться #4

Mohamad in Scrapy

//*[@id="1SizeContainer"]/div[@class="chooseSizeLink chooseSizeLinkActive"]/@data-size

13:47пожаловаться #5

Mohamad in Scrapy

А все заработал) Спасб

13:50пожаловаться #6

Eugeny K in Scrapy

Link.url как сделать чтобы после редактирования middleware не мешал загружать отредактированный линк

23:46пожаловаться #7

2019 July 19

Stanislav in Scrapy

а сервис в связке с гугл каптчой проверяет айпи с которого была решена капча?

03:54пожаловаться #8

АН

Господа, как-то можно изящно и красивенько после получения жсона сохранить желаемую часть полей в бд?

09:09пожаловаться #9

АН

Я пока только вижу вариант создания словарика с нужными мне полями и обновлять ему значения из каждого элемента жсона если в моем словарике есть такой ключ

09:11пожаловаться #10

АН

Следом этот словарик писать в инсертом в базу

09:11пожаловаться #11

АН

Но вот это сочленение моего словарика с другим как-то придурошно мне кажется(

09:12пожаловаться #12

АН

saving_keys = {
            'name',
            'ehraid', ...
        }

        for el in j_data:
            saving_dict = {key:el.get(key, None) for key in saving_keys}

Как-то так терпимо?

09:38пожаловаться #13

Scrapy schema validation pipeline and Item builder using JSON Schema - scrapy-plugins/scrapy-jsonschema

Алексей Нагорский

Господа, как-то можно изящно и красивенько после получения жсона сохранить желаемую часть полей в бд?

я щас тыркаю пальцем в небо, но посмотри вот эту штуку, может это оно? https://github.com/scrapy-plugins/scrapy-jsonschema

GitHub

scrapy-plugins/scrapy-jsonschema

11:16пожаловаться #14

АН

Scrapy schema validation pipeline and Item builder using JSON Schema - scrapy-plugins/scrapy-jsonschema

ildar

я щас тыркаю пальцем в небо, но посмотри вот эту штуку, может это оно? https://github.com/scrapy-plugins/scrapy-jsonschema

GitHub

scrapy-plugins/scrapy-jsonschema

Что-то прикольное но не совсем то( Да пусть вон с for, нормально)

11:17пожаловаться #15

ну вроде там написано a Scrapy Item definition builder from a JSON Schema definition

11:17пожаловаться #16

т.е. как я понял он по схеме позволяет сохранить json в item's

11:18пожаловаться #17

ну а айтемс ты уже сохраняешь в бд

11:18пожаловаться #18

АН

Я сохраняю прям в parse и бд не жсоновая, шило на более крутое мыло меняю

11:22пожаловаться #19

Ivan Baturin in Scrapy

нужна помощь, паршу данные с сайта, использую скрапи и селениеум, все данные записываються в csv файл, как мне не записывать дубликат в этот файл, возможно у скраппи есть такая функция