Size: a a a

2020 March 31

К

Кирилл in Scrapy
или ты кодишь на планшете?)
источник

r

rtme in Scrapy
Кирилл
или ты кодишь на планшете?)
Для разработки, мелкие задачи с планшета норм делать, мазохизм самую малость)
источник

К

Кирилл in Scrapy
Ну, с извращениями не подскажу.. Если нужно локальное хранилище, sqlite точно лучше, чем plain text. JSON/CSV это только для экспорта какого-то, если кому-то нужно показать данные, они не для программ, ну и каких-то мелких конфигов с json, или небольшого ввода данных, для csv. Их основное преимущество, это читаемость
источник

AB

Alexander B in Scrapy
+1 за монго
источник

S

Sergey in Scrapy
Я бы sqlite. Просто не заморачивался бы с кучей таблиц, писал бы все в одну. Ну или действительно монго, но это надо доку почитать.
источник

r

rtme in Scrapy
да с sqlite по проще будет, из коробки
источник

r

rtme in Scrapy
однозначно быстрее, и код чище
источник

М

Мак in Scrapy
правильно ли я  понимаю, что при использовании прокси со сплешем, нужно сначала адреса прокси проиндексировать в ini файле, а потом еще указывать так же адреса в аргументах запроса?
источник

М

Мак in Scrapy
или может как то проще можно... ротаторы, вроде бы не работают со сплешем
источник

AR

Andrey Rahmatullin in Scrapy
"проиндексировать в ini файле"?
источник

М

Мак in Scrapy
я какие то ругательные слова что ли сказал??
если можно проще сделать - я только рад совету буду
источник

М

Мак in Scrapy
в луа скрипте может сразу задать как то
источник

М

Мак in Scrapy
и вообще, можно ли в сплеше как то ротацию прокси организовать
источник

E

Evgen in Scrapy
передавай ему адрес прокси как параметр да и все
источник
2020 April 01

СТ

Семён Трояновский in Scrapy
Всем привет!
Делаю парсинг, складываю в SQL базу данных (парсятся интернет магазины). Спустя время хочу снова делать парсинг по тем же сайтам с целью обновить цены.  Соответственно задача не записать в базу по новой все те же товары, а записать в уже существующие  новые цены + добавить новые товары если они появились. Моя идея в том чтобы искать в таблице по имени товара, который парсится, смотреть если  select что-то возвращает и если да то делать update а если нет то делать новую
запись.  Подскажите плз это нормальное решение задачи или есть какие-то варианты получше?
источник

К

Кирилл in Scrapy
Нормальное
источник

AR

Andrey Rahmatullin in Scrapy
Гугл upsert
источник

К

Кирилл in Scrapy
Andrey Rahmatullin
Гугл upsert
Опередил)
источник

AS

Alexandr Step in Scrapy
Семён Трояновский
Всем привет!
Делаю парсинг, складываю в SQL базу данных (парсятся интернет магазины). Спустя время хочу снова делать парсинг по тем же сайтам с целью обновить цены.  Соответственно задача не записать в базу по новой все те же товары, а записать в уже существующие  новые цены + добавить новые товары если они появились. Моя идея в том чтобы искать в таблице по имени товара, который парсится, смотреть если  select что-то возвращает и если да то делать update а если нет то делать новую
запись.  Подскажите плз это нормальное решение задачи или есть какие-то варианты получше?
а еще лучше добавь связанную табличку типа history и туда складывай старые значения. Уверяю будет не хуже.
источник

СТ

Семён Трояновский in Scrapy
Ну я думал сделать триггер который старую цену будет в архив записывать
источник