К
Size: a a a
2020 March 28
RG
какие ключи
в примере вот это [
'http://proxy0:8888',
'http://user:pass@proxy1:8888',
'https://user:pass@proxy1:8888'
]
'http://proxy0:8888',
'http://user:pass@proxy1:8888',
'https://user:pass@proxy1:8888'
]
RG
этот пример с ошибкой json.decoder.JSONDecodeError: Expecting value: line 2 column 5 (char 6)
RG
в доках пишет что proxy file content, must conform to json format, otherwise will cause json
RG
вот я и пробую в json делать
iz
вот я и пробую в json делать
# -*- coding: utf-8 -*-
import re
import json
PROXY = []
regex = re.compile("(\d+\.\d+\.\d+\.\d+:\d+)")
with open('proxies.txt') as f:
for line in f:
try:
result = regex.search(line)
if result:
PROXY.append(result.group(1))
except:
pass
with open('proxy.json', 'w+') as f:
f.write(json.dumps({'HTTPS_PROXIES': list(set(PROXY))}))
RG
# -*- coding: utf-8 -*-
import re
import json
PROXY = []
regex = re.compile("(\d+\.\d+\.\d+\.\d+:\d+)")
with open('proxies.txt') as f:
for line in f:
try:
result = regex.search(line)
if result:
PROXY.append(result.group(1))
except:
pass
with open('proxy.json', 'w+') as f:
f.write(json.dumps({'HTTPS_PROXIES': list(set(PROXY))}))
спасибо друг! все работает! а за скрипт отдельная благодарность!!!
iz
спасибо друг! все работает! а за скрипт отдельная благодарность!!!
Тоже была проблема
RG
Еще одна проблемка есть. Пакую свой парсер в яйцо для последующего деплоя. Использую команду scrapyd-deploy --build-egg my_parser.egg Все пакует отлично. Но у меня на уровне с файлом scrapy.cfg есть парочка текстовых файлов которые тоже нужно в яйцо упаковать, а по умолчанию оно их не видит. Помогите, кака прописать в setup.py чтоб паковало текстовые файлы на одном уровне вложенности с файлом scrapy.cfg ?
iz
Еще одна проблемка есть. Пакую свой парсер в яйцо для последующего деплоя. Использую команду scrapyd-deploy --build-egg my_parser.egg Все пакует отлично. Но у меня на уровне с файлом scrapy.cfg есть парочка текстовых файлов которые тоже нужно в яйцо упаковать, а по умолчанию оно их не видит. Помогите, кака прописать в setup.py чтоб паковало текстовые файлы на одном уровне вложенности с файлом scrapy.cfg ?
куда деплой?
RG
куда деплой?
scrapyd на серваке
2020 March 29
🎅B
Traceback (most recent call last):
File "D:\anaconda\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\anaconda\lib\site-packages\scrapy\spiders\__init__.py", line 90, in parse
raise NotImplementedError('{}.parse callback is not defined'.format(self.__class__.__name__))
NotImplementedError: NflSpider.parse callback is not defined
Как ее исправить?
СТ
Пишет что callback не определен