МС
рабочая папка должна быть настроена на scrapy.cfg.
по все равно, не понял, зачем городить все это.
по все равно, не понял, зачем городить все это.
Size: a a a
2020 November 02
ЛГ
ктонить запускал скрапи через Popen? подскажите команду
я запускал через сабпроцесс, у меня в одном из проектов он лежит в боте и работает через эту команду, но у меня не было выбора и это вроде костыли еще те :)
A
я запускал через сабпроцесс, у меня в одном из проектов он лежит в боте и работает через эту команду, но у меня не было выбора и это вроде костыли еще те :)
а как правильно записывать?
ЛГ
а как правильно записывать?
code = subprocess.call("scrapy crawl for_parsing -o test.csv")A
рабочая папка должна быть настроена на scrapy.cfg.
по все равно, не понял, зачем городить все это.
по все равно, не понял, зачем городить все это.
из другого проекта через селери и popen запускаю скрапи проект
AR
это ему не поможет, у него рабочий каталог не тот
A
это ему не поможет, у него рабочий каталог не тот
поменял уже
AR
ну вот и хорошо
c
for event_info, _, event, *_ in div.xpath('./div[1][@class="row align-items-center"]'):
print(type(event_info) ,event_info, len(event_info))
print(event_info[0], event_info[1])
for event_type, event_time in event_info:
print(event_type, event_time)
<class 'lxml.html.HtmlElement'> <Element div at 0x24b88c26d10> 2
<Element div at 0x24b88c26d60> <Element div at 0x24b88c41040>
Traceback (most recent call last):
File "c:/Users/user/Documents/projects/test/main.py", line 15, in <module>
for event_type, event_time in event_info:
ValueError: not enough values to unpack (expected 2, got 0)
Не пойму, в чем проблема. Через xpath получаю div'ы, в первом for я распаковываю список и все проходит нормально, но вот во втором случае он почему-то не дает распаковать , хотя судя по принтам там HtmElement с двумя div'ами
print(type(event_info) ,event_info, len(event_info))
print(event_info[0], event_info[1])
for event_type, event_time in event_info:
print(event_type, event_time)
<class 'lxml.html.HtmlElement'> <Element div at 0x24b88c26d10> 2
<Element div at 0x24b88c26d60> <Element div at 0x24b88c41040>
Traceback (most recent call last):
File "c:/Users/user/Documents/projects/test/main.py", line 15, in <module>
for event_type, event_time in event_info:
ValueError: not enough values to unpack (expected 2, got 0)
Не пойму, в чем проблема. Через xpath получаю div'ы, в первом for я распаковываю список и все проходит нормально, но вот во втором случае он почему-то не дает распаковать , хотя судя по принтам там HtmElement с двумя div'ами
AR
казалось бы при чём тут скрапи
c
Ты админ, а про описание чата должен я рассказывать?
AR
ну это обычная проблема с пониманием питоньих листов
c
Я просто пытаюсь понять, проблем в хтмлэлементе или нет
Хотя Len показывает, что да, там находится два элемента, но распаковать не даёт
Хотя Len показывает, что да, там находится два элемента, но распаковать не даёт
AR
потому что если в листе два элемента, не надо из него таплы пытаться достать
c
Да
ЛГ
culnaen
for event_info, _, event, *_ in div.xpath('./div[1][@class="row align-items-center"]'):
print(type(event_info) ,event_info, len(event_info))
print(event_info[0], event_info[1])
for event_type, event_time in event_info:
print(event_type, event_time)
<class 'lxml.html.HtmlElement'> <Element div at 0x24b88c26d10> 2
<Element div at 0x24b88c26d60> <Element div at 0x24b88c41040>
Traceback (most recent call last):
File "c:/Users/user/Documents/projects/test/main.py", line 15, in <module>
for event_type, event_time in event_info:
ValueError: not enough values to unpack (expected 2, got 0)
Не пойму, в чем проблема. Через xpath получаю div'ы, в первом for я распаковываю список и все проходит нормально, но вот во втором случае он почему-то не дает распаковать , хотя судя по принтам там HtmElement с двумя div'ами
print(type(event_info) ,event_info, len(event_info))
print(event_info[0], event_info[1])
for event_type, event_time in event_info:
print(event_type, event_time)
<class 'lxml.html.HtmlElement'> <Element div at 0x24b88c26d10> 2
<Element div at 0x24b88c26d60> <Element div at 0x24b88c41040>
Traceback (most recent call last):
File "c:/Users/user/Documents/projects/test/main.py", line 15, in <module>
for event_type, event_time in event_info:
ValueError: not enough values to unpack (expected 2, got 0)
Не пойму, в чем проблема. Через xpath получаю div'ы, в первом for я распаковываю список и все проходит нормально, но вот во втором случае он почему-то не дает распаковать , хотя судя по принтам там HtmElement с двумя div'ами
код лучше слать в кавычках
ЛГ
а то нечитабельная херня получается, имхо