E
Size: a a a
2018 August 03
B
а если я буду юзать скрапи клауд, там же все также как и в скрапид по апи?
Давай, расскажешь))
EB
Давай, расскажешь))
да так-то и скрапид можно поднять, но тогда ничего не меняется и нужно всеравно очередь и импорт писать, поэтому и думаю что взять((
EB
а в скрапид(ну и клауде) же по фактут тотже скрапи запускаетс, и конфиги вроде фид экспортера(на с3) будут также работать?
EB
в скрапи вроде да
2018 August 05
DD
сплеш только генерирует JS, отправлять форму можно через post запрос
а если у меня разные поля, но post запрос один и тот же:?
DD
url не меняется
DD
Нужно параметры посмотреть дополнительные, видимо
B
а если у меня разные поля, но post запрос один и тот же:?
поля собираются в тело пост-запроса
B
посмотри network и отправь в ручую данные
NK
def __init__(self, subject=None):
self.subject = subject
теперь я могу передать сюда через
-a данные.и сделать условие.
не могу понять, как это сделать, если в одном условии мне нужен один
rules = (
Rule(LinkExtractor
а в другом, чтобы отработал другой
rules = (
Rule(LinkExtractor
def parse(self, response): - мне нужно запихнуть рулсы в эту функцию с условиями?вроде да, так как
self.logger.info отрабатывает, в зависимости от того, что я передал в -aно если я в этой функции в условия рулсы положу, то они не отработают.
NK
в общем не могу нагуглить, как передавать аргументы а CrawlSpider
B
что попадает в subject? условие?
NK
что попадает в subject? условие?
ну да
B
ID:507308625
в общем не могу нагуглить, как передавать аргументы а CrawlSpider
def __init__(self, subject, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://google.com/%s' % (subject)]
self.subject = subject
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://google.com/%s' % (subject)]
self.subject = subject
NK
def __init__(self, subject, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://google.com/%s' % (subject)]
self.subject = subject
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://google.com/%s' % (subject)]
self.subject = subject
это я видел в доке.
рулсы мне как в ифы то положить? =)
рулсы мне как в ифы то положить? =)
NK
или прям в ините их и надо делать?
B
покажи рулисы
NK
та обычные, в зависимости от темы одни хочу применить, или другие