Телеграмм чат группы scrapy

2020 November 25

МС

Михаил Синегубов... in Scrapy

i

о, т.е. можно команду послать, чтобы все встало на время? прикольно

не послать, а принять. spider_idle это типа паук говроит "я нихера не делаю, но еще не успел начать уничтожаться"

источник

11:52пожаловаться #1

И

Илья in Scrapy

Михаил Синегубов

нельзя, это искать надо. Там суть такая была (в одном пауке)
1. в базе таблица со ссылками. Это типа очередь со статусами и с признаком, в какой колбек отправлять ссылку.
2. при старте и по событию spider_idle смотришь в базу, если там есть ссылки, которые надо обработать - обрабатываешь.
3. в базу пишешь в пайпе блоками (у меня было примерно 10 тыс)

примерно так. У меня по такому алгоритму спокойно обработало, примерно, 20 млн постов в инсте.

Это очень сложное кун-фу для меня. Как реализовать запись блоками? Я думал пайп вызывается при каждом ввернутом итеме?

источник

11:53пожаловаться #2

И

Илья in Scrapy

i

о, т.е. можно команду послать, чтобы все встало на время? прикольно

Заказчик просит mysql

источник

11:53пожаловаться #3

МС

Михаил Синегубов... in Scrapy

Илья

Это очень сложное кун-фу для меня. Как реализовать запись блоками? Я думал пайп вызывается при каждом ввернутом итеме?

пишу по памяти, так что не пинаться

источник

11:55пожаловаться #4

i

i in Scrapy

аа, ну ок, но если он еще будет там писать когда-нибудь что-то рядом на джанге, то прям имеет смысл убедить его постгрес юзать, как нативную базу для него

источник

11:55пожаловаться #5

И

Илья in Scrapy

i

аа, ну ок, но если он еще будет там писать когда-нибудь что-то рядом на джанге, то прям имеет смысл убедить его постгрес юзать, как нативную базу для него

будет простое приложение на фласке

источник

11:55пожаловаться #6

И

Илья in Scrapy

Аля запустить, получить отчет

источник

11:55пожаловаться #7

i

i in Scrapy

про фласк ничо не скажу. просто в джангеотам на каждом угле "в постгрессе это делается нативно из коробки, а в другой бд вы должны перепрыгнуть через голову")

источник

11:57пожаловаться #8

МС

Михаил Синегубов... in Scrapy

 class MyPipe():
    data_items = []
    
    def process_item(self, item, spider):
        self.data_items.append(item)
        if len(self.data_items) > 10000:
            self.flush_data

    def flush_data(self):
        for item in self.data_items:
            # как то там сохраняем в базу
        self.data_items = []

источник

11:58пожаловаться #9

МС

Михаил Синегубов... in Scrapy

писать, конечно, лучше через какой bulk_insert, но так нагляднее, ну и, с транзакциями обязательно играться. Не ради блокировки, а ради ускорения

источник

12:00пожаловаться #10

И

Илья in Scrapy

process_item() must either: return an item object, return a Deferred or raise a DropItem exception.

источник

12:00пожаловаться #11