Size: a a a

2019 June 27

ВН

Влад Никандров in Scrapy
Михаил Синегубов
и из под винды :)
ой началось)
а так я тестами покрываю весь код так что хз как там дебаг работает
источник

МС

Михаил Синегубов in Scrapy
Влад Никандров
ой началось)
а так я тестами покрываю весь код так что хз как там дебаг работает
😝
источник

МС

Михаил Синегубов in Scrapy
у меня просто делфевая привычка, пишу кусок кода и проверяю. И без отладки жить уже не могу :)
источник

EB

Elisei Badanin in Scrapy
Везёт..кому-то платят за написание тестов))
источник

АН

Алексей Нагорский in Scrapy
Михаил Синегубов
та я чего, я ничего. Посто там и случается "ой, я ничего не умею, пойду на силениум" :)
Согласен, было бы лучше если бы было бы лучше, но есть как есть)
источник

JW

John Wayne in Scrapy
Люди подскажите, как можно настроить порядок запросов в CrawlSpider? Есть скажем 100 категорий, в каждой от 3 до n страниц товаров, по дефолту паук лезет(из за асинхронности?) как будто рандомно в глубь категорий.
Нашел такую штуку
# DEPTH_PRIORITY = 1
# SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
# SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'
Позволяет лазить 1-100 Категории, потом 1я страница 1й категории, 1я страница 2й Категории итд
Можно ли настроить чтобы было так:
1я Категория>1я страница 1й категории ... и до конца страниц 1й категории.
Далее 2я категория все страницы итд
источник

JM

Jim Moonrock in Scrapy
Михаил Синегубов
Он анаконду умеет использовать
у меня получилось установить, но в папку с Miniconda, теперь не поллучается пользоваться, я при установки не указывал Path
источник

JM

Jim Moonrock in Scrapy
C:\Python\Python37-32\python.exe: can't open file 'scrapy': [Errno 2] No such file or directory
источник

АП

Агент Печенька in Scrapy
Так исправь патч.
источник

МС

Михаил Синегубов in Scrapy
Jim Moonrock
у меня получилось установить, но в папку с Miniconda, теперь не поллучается пользоваться, я при установки не указывал Path
Ну так переустанови
источник

JM

Jim Moonrock in Scrapy
Михаил Синегубов
Ну так переустанови
я специльно не установил. потому что при выборе установки path подчеркнуло красным что так лучше не делать
источник

МС

Михаил Синегубов in Scrapy
Я когда разбирался посему пичарм не дебажит, раз 10 успел переустановиь
источник

JM

Jim Moonrock in Scrapy
Агент Печенька
Так исправь патч.
добавить просто в path путь еxe?
источник

МС

Михаил Синегубов in Scrapy
Jim Moonrock
добавить просто в path путь еxe?
Можно и так
источник

JM

Jim Moonrock in Scrapy
у меня комп слабенький еще, пол дня мучаюсь))
источник

EK

Eugeny K in Scrapy
Доброго скажите пожалуйста scrapyrt как настроить кустомизировать вывод?
источник

EK

Eugeny K in Scrapy
Нужен форматный
источник
2019 June 28

M

Mohamad in Scrapy
self.meta.update({'proxy': 'https://%s' %  '11.111.1.1:3333'})
user_pass = base64.encodestring(('%s:%s' % ('USER', 'PASS')).encode()).decode().replace('\n', '')
headers['Proxy-Authorization'] = 'Basic ' + user_pass
источник

M

Mohamad in Scrapy
Пытаюсь подконектиться к прокси с авторизацией, но почему-то не работает
источник

M

Mohamad in Scrapy
подскажите что я делаю не так
источник