Size: a a a

2020 March 21

AD

Arigato Darigato in Scrapy
А где посмотреть?
источник

AD

Arigato Darigato in Scrapy
В папке ff не нашел
источник

S

Sergey in Scrapy
Arigato Darigato
Подскажите, пожалуйста, почему сейчас не запускается firefox portable. До этого работало отлично.
Вот код:
binary = FirefoxBinary('D:\\Browsers\\FirefoxPortable\\FirefoxPortable.exe')
driver = webdriver.Firefox(executable_path="C:\\geckodriver.exe", firefox_binary=binary)
driver.get('google.ru')

selenium.common.exceptions.WebDriverException: Message: The browser appears to have exited before we could connect. If you speci
fied a log_file in the FirefoxBinary constructor, check it for details.
тебе же пишут посмотри лог
источник

AD

Arigato Darigato in Scrapy
Не нашёл(
источник

К

Кирилл in Scrapy
Укажи log_file, и после запуска проверь
источник

AD

Arigato Darigato in Scrapy
лог пустой(
источник

AD

Arigato Darigato in Scrapy
logging подключил
источник

AD

Arigato Darigato in Scrapy
Сейчас стал просто открываться и висеть, ничего не делая
источник

AD

Arigato Darigato in Scrapy
Кирилл
Укажи log_file, и после запуска проверь
В FirefoxBinary указал, не создаёт
источник

AD

Arigato Darigato in Scrapy
Неправильно указываю?
источник

S

Sergey in Scrapy
в webdriver укажи лог
источник

S

Sergey in Scrapy
я не знаю как в FF, в Chrome вот так
источник

S

Sergey in Scrapy
driver = webdriver.Chrome(service_log_path="/tmp/log")
источник

AD

Arigato Darigato in Scrapy
Sergey
driver = webdriver.Chrome(service_log_path="/tmp/log")
Portable chrome?
источник

A

Anton in Scrapy
Кирилл
ensure_ascii=False
попробовал решение c json lines как в ответе - сработало, думал по этой логике в CSV если писать ensure_ascii= тоже должно сработать, но нет. с аналогочной командой scrapy crawl spider -o spider.csv генерит пустой csv файл. код из settings.py :
from scrapy.exporters import CsvItemExporter
class MyCsvItemExporter(CsvItemExporter):
   def __init__(self, file, **kwargs):
       super(MyCsvItemExporter, self).__init__(file, ensure_ascii=False, **kwargs)

FEED_EXPORTERS = {
   'csv':'iherb_bot.settings.MyCsvItemExporter'
   }
источник

AB

Artur Borkov in Scrapy
Как редактировать огромный кусок данных после парсинга?
источник

К

Кирилл in Scrapy
Открываешь и редактируешь
источник

AR

Andrey Rahmatullin in Scrapy
Anton
попробовал решение c json lines как в ответе - сработало, думал по этой логике в CSV если писать ensure_ascii= тоже должно сработать, но нет. с аналогочной командой scrapy crawl spider -o spider.csv генерит пустой csv файл. код из settings.py :
from scrapy.exporters import CsvItemExporter
class MyCsvItemExporter(CsvItemExporter):
   def __init__(self, file, **kwargs):
       super(MyCsvItemExporter, self).__init__(file, ensure_ascii=False, **kwargs)

FEED_EXPORTERS = {
   'csv':'iherb_bot.settings.MyCsvItemExporter'
   }
Надо не думать, а доку читать, никакого эскейпинга в csv нет
источник

AR

Andrey Rahmatullin in Scrapy
Но это можно было и сразу заметить, сравнив файлы
источник

P

PythonBeginner in Scrapy
Привет, парни. Как работают букмекерские конторы? Интересна програмная часть. Откуда эти коэффициенты берутся и как они динамически изменяются?
источник