Телеграмм чат группы scrapy

https://www.sqlite.org/datatype3.html

там 5 типов даннх в реальности. так что есть текст и только текст. Остальное - для совместимости иструкций, скорее всего

источник

08:19пожаловаться #8

МС

Михаил Синегубов in Scrapy

Ренат Турсунбаев

Может кто подскажет: складываю данные в табличку sqlite3, в ней всего 3 поля: 1 текстовое и 2 numeric. Так вот, в таблице 13 млн записей, а бд весит уже за 5 гигов - это нормально?

а чем тебе 5 Гб не нравится? вполне нормальный размер для такого объема

источник

08:20пожаловаться #9

МС

Михаил Синегубов in Scrapy

это, дяденька, у Вас, наверное и индекса то нет по текстовому полю.... 😂

источник

08:20пожаловаться #10

РТ

Ренат Турсунбаев in Scrapy

Михаил Синегубов

это, дяденька, у Вас, наверное и индекса то нет по текстовому полю.... 😂

Истинно

источник

08:34пожаловаться #11

serhii in Scrapy

можно ли в сеттингс пае получить доступ к аргументам паука?

источник

13:29пожаловаться #12

Evgen in Scrapy

вроде как нет

источник

13:39пожаловаться #13

Evgen in Scrapy

у вас же может быть несоклько пауков)

источник

13:39пожаловаться #14

serhii in Scrapy

`
self.settings.attributes['FEED_URI']
`
что-то не пойму, а как мне изменить значение это в самом пауке.

источник

13:42пожаловаться #15

serhii in Scrapy

self.custom_settings["FEED_URI"] - хочу так переопределить папку сохранения - не работает ))) делаю это в ините

источник

14:02пожаловаться #16

Evgen in Scrapy

@classmethod
def update_settings(cls, settings):
    super(YOUR_SPIDER_CLASS, cls).update_settings(settings)

    settings['DEFAULT_REQUEST_HEADERS'] = {
        'X-Crawlera-Cookies': 'disable',
    }

источник

14:10пожаловаться #17

Evgen in Scrapy

вот так

источник

14:10пожаловаться #18

Evgen in Scrapy

@randomnamerandomname ^^

источник

14:10пожаловаться #19

serhii in Scrapy

Evgen

вот так

та как настройки менять в пауке я знаю, я не могу понять, как ты можешь аргумент сюда пробросить

источник

14:15пожаловаться #20