Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 April 03

хм, надо почитать чего там у постгресса с хранением больших данных. Типа 100-200 гигов он потянет ли. А вдруг кто-то уже реализовал?

источник

15:05пожаловаться #1

МС

Михаил Синегубов in Scrapy

блин, я про кэш постоянно забываю. Вот опять, раз пятый сайта паршу... 😂

источник

15:05пожаловаться #2

ildar in Scrapy

Я еще думаю про прокси поставить кеширующий. Поискать какой-нибудь со своей системой хранения без кучи мелких файликов. Тогда вообще для скрапи прозрачно по-идее будет. Только хз есть ли такие

источник

15:06пожаловаться #3

Vladyslav Babych in Scrapy

Актуальный вопрос какую БД вы используете для очень больших размеров данных?

источник

15:06пожаловаться #4

МС

Михаил Синегубов in Scrapy

Vladyslav Babych

Актуальный вопрос какую БД вы используете для очень больших размеров данных?

ну, я на паре десятком млн. одинарными таблицами пользовал SQLite, Другой проект - там несколько таблиц, каждая > 50 млн - там постгрес

источник

15:08пожаловаться #5

МС

Михаил Синегубов in Scrapy

вопрос - какие данные, какая структура и что он этого всего надо

источник

15:09пожаловаться #6

МС

Михаил Синегубов in Scrapy

так то, SQLIte и 50-100 млн записей спокойно прожует, если не будет сложных выборок

источник

15:09пожаловаться #7

МС

Михаил Синегубов in Scrapy

ildar

https://www.postgresql.org/docs/current/limits.html
ну, в 12, во сути "начхать на все" :)))

источник

15:12пожаловаться #8

Roman Gangal in Scrapy

Подскажите что может означать данная ошибка? [scrapy.core.scraper] ERROR: Spider error processing KeyError: <weakref at 0x7fde6b86e8b8; to 'method' at 0x7fde687cd308 (parse_item)>

источник

15:17пожаловаться #9

ildar in Scrapy

хм https://github.com/cuducos/scrapy-memcached-cache

GitHub

cuducos/scrapy-memcached-cache

🗂Memcached HTTP cache storage backend for Scrapy. Contribute to cuducos/scrapy-memcached-cache development by creating an account on GitHub.

источник

15:20пожаловаться #10

Alexandr Step in Scrapy

Vladyslav Babych

Актуальный вопрос какую БД вы используете для очень больших размеров данных?

postgresql норм

источник

15:20пожаловаться #11

ildar in Scrapy

правда что-то древнее, как и это: https://github.com/xiaowangwindow/scrapy-httpcache

GitHub

xiaowangwindow/scrapy-httpcache

A scrapy middleware to save http cache to MongoDB. Contribute to xiaowangwindow/scrapy-httpcache development by creating an account on GitHub.

источник

15:21пожаловаться #12

Vladyslav Babych in Scrapy

А можно как-то пробросить значение из спайдера в extension?

источник

15:23пожаловаться #13

Anil Kumar in Scrapy

How to store files to ftp server using scrapy? I've already tried the method given in the docs. I'm able to download the docs but it's storing in ftp server.

источник

16:27пожаловаться #14

Anil Kumar in Scrapy

Anil Kumar

How to store files to ftp server using scrapy? I've already tried the method given in the docs. I'm able to download the docs but it's storing in ftp server.

Anyone please reply

источник

16:39пожаловаться #15

Кирилл in Scrapy

Anil Kumar

How to store files to ftp server using scrapy? I've already tried the method given in the docs. I'm able to download the docs but it's storing in ftp server.

So you able or not?

источник

16:43пожаловаться #16

Anil Kumar in Scrapy

Not

источник

16:44пожаловаться #17

Кирилл in Scrapy

Why? What do you have? Error log or thomesing else?

источник

16:44пожаловаться #18

Кирилл in Scrapy