Телеграмм чат группы scrapy

Всё верно, writerow принимает словарь где указываешь в какую ячейку записывать, он сам делает пропуски на не указанных, небольшое доп. знание в csv в копилочку)

источник

10:45пожаловаться #5

SoHard 🎄 in Scrapy

15821

пишешь в json

import pandas as pd
d = pd.read_json('ololo.json')
d.to_csv('out.csv')

источник

10:46пожаловаться #6

15821 in Scrapy

хм, т.е. он хэадеры сам подабавляет и сделает пропуски на пустых?

да

15821 in Scrapy

интересно, сейчас кофеёк допью и опробую, огромная благодарочка если это так работает как мне надо :)

источник

10:49пожаловаться #9

МС

Михаил Синегубов... in Scrapy

кстати, ни у кого не было задачи писать каждый айтем в отдельный json? а то я столкнулся недавно. Кроме как тупого пересоздания айтемэкспортера (ага, еще и пустые поля надо) ни до чего не додумался...

источник

10:53пожаловаться #10

Ruslan aka DUDE in Scrapy

есть ли разница в парсерах?

from lxml.etree import HTMLParser

from lxml import html

или одно и тоже?

источник

17:45пожаловаться #11

Andrey Rahmatullin in Scrapy

https://lxml.de/lxmlhtml.html первый абзац

lxml.de

lxml.html

источник

17:57пожаловаться #12

Ruslan aka DUDE in Scrapy

Andrey Rahmatullin

https://lxml.de/lxmlhtml.html первый абзац

lxml.de

lxml.html

благодарю!

источник

18:50пожаловаться #13

2020 December 05

09:52пожаловаться #14

Максим in Scrapy

Как сделать, чтобы во время скрапинга произошел переход на другую страницу и сработала для нее другая функция?

источник

18:13пожаловаться #15

Максим in Scrapy

Делаю так, не получается

link = concat(DOMAIN, response.xpath('//div[@id="etab"]/a/@href').get())
establishments = scrapy.Request(
                url=link,
                callback=self.parse_etab,
                errback=self.error,
            )

источник

18:13пожаловаться #16

Кирилл in Scrapy

Максим

Делаю так, не получается

link = concat(DOMAIN, response.xpath('//div[@id="etab"]/a/@href').get())
establishments = scrapy.Request(
                url=link,
                callback=self.parse_etab,
                errback=self.error,
            )

yield establishments

источник

18:14пожаловаться #17

Andrey Rahmatullin in Scrapy

Максим

https://docs.scrapy.org/en/latest/intro/tutorial.html#following-links

источник

18:14пожаловаться #18

Максим in Scrapy

Кирилл

yield establishments

Мне надо сделать примерно так

{
"blabla": 124214,
"wqerty" : "!@415",
"establishments": establishments
}

источник

18:17пожаловаться #19

Andrey Rahmatullin in Scrapy

передавай данные, собранные на первой странице, в коллбэк для второй

источник

18:17пожаловаться #20