В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

431 membersпожаловаться на группу
2020 March 21

A

Anton in Scrapy
Ребят привет! Пробую спарсить скидочные товары на ru.iherb.com , проблема: в log мои тайтлы на русском парсятся но при сторинге как в csv так и json там где начинается русский язык - каша (набор букв и символов). Из того что мне удалось накопать это Accept Language в settings.py, изменил на 'ru' - не помогло. Подскажите пожалуйста, кто сталкивался.
источник
11:47пожаловаться#1

A

Anton in Scrapy
источник
11:47пожаловаться#2

A

Anton in Scrapy
источник
11:47пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
Ты уверен что именно в файле кодировка не та?
источник
11:50пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
Может ты открываешь криво
источник
11:50пожаловаться#5

S

Sergey in Scrapy
открывай csv не двойным кликом, а данные загрузить из текста
источник
11:51пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
И вообще, открыть текстовым редактором
источник
11:51пожаловаться#7

S

Sergey in Scrapy
если хочешь открывать двойным кликом, тогда в нотепад++ поменяй кодировку в utf
источник
11:51пожаловаться#8

К

Кирилл in Scrapy
Anton
Ребят привет! Пробую спарсить скидочные товары на ru.iherb.com , проблема: в log мои тайтлы на русском парсятся но при сторинге как в csv так и json там где начинается русский язык - каша (набор букв и символов). Из того что мне удалось накопать это Accept Language в settings.py, изменил на 'ru' - не помогло. Подскажите пожалуйста, кто сталкивался.
https://stackoverflow.com/a/9195158
Stack Overflow
scrapy text encoding
Here is my spider

from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from vrisko.items
источник
11:56пожаловаться#9

A

Anton in Scrapy
ну вот к примеру json через sublime открываю
источник
11:56пожаловаться#10

A

Anton in Scrapy
источник
11:56пожаловаться#11

К

Кирилл in Scrapy
ensure_ascii=False
источник
11:56пожаловаться#12

A

Anton in Scrapy
Кирилл
ensure_ascii=False
Ага, сейчас почитаю! спасибо
источник
11:57пожаловаться#13

К

Кирилл in Scrapy
Дело только в этой настройке, вроде там в ответе есть как ее в експортер прописать
источник
11:58пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
Anton
Это не проблема
источник
12:06пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
Джсон не читают глазами, его импортируют
источник
12:06пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
И это не каша, а обычный эскейпнутый юникод
источник
12:07пожаловаться#17

AD

Arigato Darigato in Scrapy
Всем привет
источник
12:09пожаловаться#18

AD

Arigato Darigato in Scrapy
Подскажите, пожалуйста, почему сейчас не запускается firefox portable. До этого работало отлично.
Вот код:
binary = FirefoxBinary('D:\\Browsers\\FirefoxPortable\\FirefoxPortable.exe')
driver = webdriver.Firefox(executable_path="C:\\geckodriver.exe", firefox_binary=binary)
driver.get('google.ru')

selenium.common.exceptions.WebDriverException: Message: The browser appears to have exited before we could connect. If you speci
fied a log_file in the FirefoxBinary constructor, check it for details.
источник
12:11пожаловаться#19

К

Кирилл in Scrapy
А что а логах?
источник
12:11пожаловаться#20