B
ID:507308625
а в пандасе кто-то разбирается? не могу понять, как сделать одну вещь.
пиши, немного разбираюсь
Size: a a a
2018 August 06
B
а как правильно юзать скрапи с пост запросами? я пишу yield scrapy.Request(url, callback, methon='POST', body=И тут указываю тело запроса, как я понимаю". Но я делаю через обычные реквесты, а потом через скрапи(и в нем в принтую response.body) и результат вообще не то
можно так, но я не юзал FormRequest
B
return [FormRequest(url="http://www.example.com/post/action",
formdata={'name': 'John Doe', 'age': '27'},
callback=self.after_post)]
formdata={'name': 'John Doe', 'age': '27'},
callback=self.after_post)]
NK
Hi.
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
In [66]: df.colour.value_counts(normalize=True)
Out[66]:
Blue 0.333333
Black 0.208333
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
In [67]: round(0.333333 * 100, 2)
Out[67]: 33.33
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
B
может .eval() ?
B
нет гоню
B
.apply
EB
@ebadanin посмотри плиз правильно наследние заюзал, или как-то все проще можно?
ef __init__(self, *a, **kw):
self.rules = (
Rule(LinkExtractor(allow=('en/latest/',), deny=(kw['rule1'],))),
Rule(LinkExtractor(allow=('en/latest/topics/',)), callback='parse_item'),
)
super(CrawlSpider, self).__init__(*a, **kw)
self._compile_rules()
там наверн нужно какой-то метод переопределить, который берет self.rules
self.rules = (
Rule(LinkExtractor(allow=('en/latest/',), deny=(kw['rule1'],))),
Rule(LinkExtractor(allow=('en/latest/topics/',)), callback='parse_item'),
)
super(CrawlSpider, self).__init__(*a, **kw)
self._compile_rules()
там наверн нужно какой-то метод переопределить, который берет self.rules
B
ID:507308625
Hi.
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
In [66]: df.colour.value_counts(normalize=True)
Out[66]:
Blue 0.333333
Black 0.208333
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
In [67]: round(0.333333 * 100, 2)
Out[67]: 33.33
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
def get_plus_100(s):
return s+100
B
df1[0].value_counts(normalize=True).apply(get_plus_100)B
0.562774 100.00001
0.075313 100.00001
0.065589 100.00001
0.506593 100.00001
0.520936 100.00001
0.623515 100.00001
0.016935 100.00001
0.973538 100.00001
Name: 0, Length: 100000, dtype: float64
B
ты только замени df1[0] на
df.colourB
и функцию свою пропиши
B
ef __init__(self, *a, **kw):
self.rules = (
Rule(LinkExtractor(allow=('en/latest/',), deny=(kw['rule1'],))),
Rule(LinkExtractor(allow=('en/latest/topics/',)), callback='parse_item'),
)
super(CrawlSpider, self).__init__(*a, **kw)
self._compile_rules()
там наверн нужно какой-то метод переопределить, который берет self.rules
self.rules = (
Rule(LinkExtractor(allow=('en/latest/',), deny=(kw['rule1'],))),
Rule(LinkExtractor(allow=('en/latest/topics/',)), callback='parse_item'),
)
super(CrawlSpider, self).__init__(*a, **kw)
self._compile_rules()
там наверн нужно какой-то метод переопределить, который берет self.rules
self._compile_rules() ?EB
наверн
B
ну он дальше там уходит в дебри
B
def _compile_rules(self):
def get_method(method):
if callable(method):
return method
elif isinstance(method, six.string_types):
return getattr(self, method, None)
self._rules = [copy.copy(r) for r in self.rules]
for rule in self._rules:
rule.callback = get_method(rule.callback)
rule.process_links = get_method(rule.process_links)
rule.process_request = get_method(rule.process_request)
B
ID:507308625
Hi.
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
In [66]: df.colour.value_counts(normalize=True)
Out[66]:
Blue 0.333333
Black 0.208333
все ок здесь, но я очу положить это в файлик предварительно обработав все числа таким образом:
In [67]: round(0.333333 * 100, 2)
Out[67]: 33.33
Вот как это сделать, не могу понять, дока не помогает пока что и не нагуглил ничего.
Thanks.
понял как сделать?
EB
прост создай мтод rules и к нему декоратор проперти тошгда