Телеграмм чат группы scrapy

Size: a a a

Scrapy

442 membersпожаловаться на группу

2020 April 17

Alexander Chaptykov in Scrapy

и синтаксис запроса к базе может отличаться

источник

16:18пожаловаться #1

Кирилл in Scrapy

ну ок, я же не знаю что тебе там нужно

ошибка ушла, но в таблицу пишется всякая охинея

ну так проверяй что пишешь в таблицу

источник

16:19пожаловаться #3

timuchin telegram in Scrapy

как прикрепить код к чату?

источник

16:21пожаловаться #4

timuchin telegram in Scrapy

думаю будет проще

timuchin telegram in Scrapy

https://pastebin.com/FzpHbFmE

Pastebin

[Python] from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import - Pastebin.com

а в чем вопрос?

timuchin telegram in Scrapy

https://pastebin.com/VhvT4b7d

Pastebin

# -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget - Pastebin.com

источник

16:27пожаловаться #9

timuchin telegram in Scrapy

79 строка

источник

16:28пожаловаться #10

timuchin telegram in Scrapy

нужно записать жанры в бд

источник

16:28пожаловаться #11

timuchin telegram in Scrapy

после добавления on_conflict жанры в таблицу genres пишутся

источник

16:30пожаловаться #12

Кирилл in Scrapy

пиши в одном сообщении

источник

16:30пожаловаться #13

timuchin telegram in Scrapy

но в book_genres book_id заполняется, а вот genre_id не имеет никакой связи с тем, что требуется

источник

16:33пожаловаться #14

Илья in Scrapy

https://pastebin.com/0fC2xxK6 часть итема собирается первой функции, а часть во второй, как передать итем во вторую функцию ?

Pastebin

class Dromspider(CrawlSpider): name = 'drom' start_urls = ['https://www.dr - Pastebin.com

источник

19:41пожаловаться #15

СТ

Семён Трояновский in Scrapy

meta

источник

19:45пожаловаться #16

СТ

Семён Трояновский in Scrapy

https://stackoverflow.com/questions/20663162/scrapy-passing-item-between-methods

Stack Overflow

Scrapy: Passing item between methods

Suppose I have a Bookitem, I need to add information to it in both the parse phase and detail phase

def parse(self, response)
data = json.loads(response)
for book in data['result']:
...

источник

19:50пожаловаться #17

Кирилл in Scrapy

не нужно в мету, лучше в cb_kwargs

источник

19:53пожаловаться #18

Vladyslav Babych in Scrapy

Кирилл

не нужно в мету, лучше в cb_kwargs

почему так лучше?

источник

20:03пожаловаться #19

Кирилл in Scrapy

После введения cb_kwargs, для данных предпочтительнее использовать его, так как мета по смыслу для метаданных запроса

источник

20:06пожаловаться #20