Телеграмм чат группы scrapy_python страница 726

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу

2019 July 15

s

serhii in Scrapy

Добрый день. Мне посоветовали обратиться в эту группу по поводу парсинга. Мне нужно сделать парсинг двух баз данных - одной российской, второй международной. По российской базе тех задание готово. По международной тех задание не делали, хотим обсуждать устно по результатам работы по российской базе. Нужен человек из Москвы, чтобы иметь возможность встречаться. Остальные вопросы в личные сообщения. Спасибо

источник

11:29пожаловаться #1

АП

Агент Печенька in Scrapy

какие лёгкие бекенды key-value посоветуете, чтоб хоронить полученные данные?

https://pypi.org/project/bsddb3/

Python bindings for Oracle Berkeley DB

источник

12:06пожаловаться #2

АП

Агент Печенька in Scrapy

Или https://docs.python.org/3/library/dbm.html

источник

12:09пожаловаться #3

AB

оно thread safe?

источник

12:10пожаловаться #4

АП

Агент Печенька in Scrapy

Беркели да.

источник

12:14пожаловаться #5

АП

Агент Печенька in Scrapy

"Multiple processes, or multiple threads in a single process, can all use the database at the same time as each uses the Berkeley DB library. Low-level services like locking, transaction logging, shared buffer management, memory management, and so on are all handled transparently by the library."

источник

12:15пожаловаться #6

AB

nice

источник

12:16пожаловаться #7

D

Hey guys, I would like to use scrapy . However is it possible to get a long list of URLs by searching them with a keyword like "electricians" for example ?

источник

13:23пожаловаться #8

DJ

Dim Jong Un in Scrapy

...searching them where? need more details

источник

13:42пожаловаться #9

D

Thank you for your answer

источник

13:48пожаловаться #10

D

In fact I would like to search on google "electrician" and get a list of the results obtained

источник

13:48пожаловаться #11

D

and get a lot of URLs results for the first 10 pages for example

источник

13:49пожаловаться #12

DJ

Dim Jong Un in Scrapy

POsitive, you definitely can parse google search results with scrapy

источник

13:51пожаловаться #13

DJ

Dim Jong Un in Scrapy

read scrapy docs, find code examples , find scrapy tutorials on youtube and you'll get the idea how you can parse google search results

источник

13:54пожаловаться #14

DJ

Dim Jong Un in Scrapy

not a rocket science at all

источник

13:54пожаловаться #15

2019 July 16

i

ildar in Scrapy

какие лёгкие бекенды key-value посоветуете, чтоб хоронить полученные данные?

как вариант, вот с этой штукой работа с sql бд (аля SQLite, PostgreSQL and MySQL) обычно умещается в две строчки (одна из которых - импорт либы)
https://dataset.readthedocs.io/en/latest/
но именно для key-value лучше наверное редис, ну или может гуглевый leveldb

источник

08:21пожаловаться #16

AB

да я какбы всей душой не хочу sql использовать

источник

08:22пожаловаться #17

i

ildar in Scrapy

Добрый день. Мне посоветовали обратиться в эту группу по поводу парсинга. Мне нужно сделать парсинг двух баз данных - одной российской, второй международной. По российской базе тех задание готово. По международной тех задание не делали, хотим обсуждать устно по результатам работы по российской базе. Нужен человек из Москвы, чтобы иметь возможность встречаться. Остальные вопросы в личные сообщения. Спасибо

под базами данных имеется в виду сайт? Вообще, я конечно не в москве живу, но слышал народ там очень бодро переходит на всякие скайпы-шмайпы чтоб только по москве круги не нарезать. Несколько странное требование, в общем 😊

источник

08:23пожаловаться #18

i

ildar in Scrapy

да я какбы всей душой не хочу sql использовать

ну если не хочешь то и не надо, это же ORM, нет, там есть возможность написать sql, но вообще работа выглядит примерно как с dict

источник

08:23пожаловаться #19

i

ildar in Scrapy

типа
with dataset.connect('sqlite:///d:/prjvk/samlib.db') as tx:
if tx['samlib'].find_one(link=link):

источник

08:24пожаловаться #20