Size: a a a

2019 August 18

C

Cyberdine Engineering🐤 in Scrapy
такое уже есть?
источник

C

Cyberdine Engineering🐤 in Scrapy
было бы круто, если б у скрепи была очередь, чтоб при получении нового запроса от scrapyd, паук запускался сразу не дождидаясь завершения предыдущего

т.е. как если бы был накручен шедулер
источник

R

Roma in Scrapy
Тут уже воркеры нужны будут
источник

R

Roma in Scrapy
Да и шедулер это всегда будет узкое место при масштабировании
источник

K

Kosta in Scrapy
Приветствую. Есть спецы по WP и php? Подскажите. Запускаю скрипт загрузки товара из mysql из веб браузера все грузит нормально. А запускаю из консоли скрипт, после 1-й итерации цикла скрипт останавливается. В чем проблема может быть? Сообщений об ошибках и препреждений нет, права пользователю на группу www-data даны, путь на wp-load.php прописан корректно.
источник

B

Bulatbulat48 in Scrapy
Kosta
Приветствую. Есть спецы по WP и php? Подскажите. Запускаю скрипт загрузки товара из mysql из веб браузера все грузит нормально. А запускаю из консоли скрипт, после 1-й итерации цикла скрипт останавливается. В чем проблема может быть? Сообщений об ошибках и препреждений нет, права пользователю на группу www-data даны, путь на wp-load.php прописан корректно.
это группа по Scrapy :)
источник

VP

Valera Pupkin in Scrapy
Парсю сайт в csv, там выглядит все хорошо, но потом импортирую в интернет магазин и получаю
Гарантия вместо русского текста, как это можно исправить?
источник

VB

Vladyslav Babych in Scrapy
Valera Pupkin
Парсю сайт в csv, там выглядит все хорошо, но потом импортирую в интернет магазин и получаю
Гарантия вместо русского текста, как это можно исправить?
смотри кодировки
источник

VP

Valera Pupkin in Scrapy
Даже если в utf decode тоже самое
источник

s

serhii in Scrapy
Valera Pupkin
Парсю сайт в csv, там выглядит все хорошо, но потом импортирую в интернет магазин и получаю
Гарантия вместо русского текста, как это можно исправить?
у магазина твоего кодировка какая? на страничке хтмл?вверху иногда пишется =)
источник

VP

Valera Pupkin in Scrapy
По идее utf, только почему то все это читают как ср1251, даже в exel настраивать в ручную приходится
источник

VP

Valera Pupkin in Scrapy
serhii
у магазина твоего кодировка какая? на страничке хтмл?вверху иногда пишется =)
Хотя вру, спасибо и правда ведь, здесь другая.
источник

s

serhii in Scrapy
Valera Pupkin
По идее utf, только почему то все это читают как ср1251, даже в exel настраивать в ручную приходится
ну это 2 разные кодировки. все  меняй на утф8 =)
источник

iz

izzz zzi in Scrapy
как из CrawlSpider отправить дополнительный запрос , что бы с куками и тп? follow?
источник

B

Bulatbulat48 in Scrapy
izzz zzi
как из CrawlSpider отправить дополнительный запрос , что бы с куками и тп? follow?
По дефолту должен отправить через response.follow или Request
источник

iz

izzz zzi in Scrapy
Bulatbulat48
По дефолту должен отправить через response.follow или Request
req = Request('https://1/ajax/misc/contact/phone/{}/?pt={}'.format(id,pt))
print('req >>>>> {}'.format(req))

?
источник

К

Кирилл in Scrapy
izzz zzi
req = Request('https://1/ajax/misc/contact/phone/{}/?pt={}'.format(id,pt))
print('req >>>>> {}'.format(req))

?
yield забыл, и почитай про f'' форматирование, оно намного приятнее
источник

iz

izzz zzi in Scrapy
Кирилл
yield забыл, и почитай про f'' форматирование, оно намного приятнее
f приятней , но не везде такой новый питон ставится)
источник

К

Кирилл in Scrapy
izzz zzi
f приятней , но не везде такой новый питон ставится)
Блин((
источник

iz

izzz zzi in Scrapy
Кирилл
yield забыл, и почитай про f'' форматирование, оно намного приятнее
а куки он от паука подтянет?
источник