Size: a a a

2021 April 23

AR

Andrey Rahmatullin in Scrapy
I'm not sure if such repos exist tbh
источник

GZ

George Zhang in Scrapy
Oh any good example would do
источник

GZ

George Zhang in Scrapy
Don’t need a bunch of them
источник

GZ

George Zhang in Scrapy
The quote bot example provided in the Docs is a bit too simple and doesn’t use much of the framework’s features
источник

SK

Semyon Krutolevich in Scrapy
источник

GZ

George Zhang in Scrapy
Oh manny thanks
источник

GZ

George Zhang in Scrapy
I will check it out
источник

SK

Semyon Krutolevich in Scrapy
it's nothing
источник

GZ

George Zhang in Scrapy
I still would really appreciate a good example where all these are put together.
источник

GZ

George Zhang in Scrapy
Right now I am mostly struggling with design decisions
источник

GZ

George Zhang in Scrapy
Like what to put in Spider and what to put in Middleware
источник

r

rink0 in Scrapy
Подскаж пожалуйста, я уже сдаюсь.

У меня есть автоматизация на селениуме, у меня на локалхосте(мак) работает, всё гуд.

Залил на сервак(убунту) тоже вчера и позавчера работала, всё гуд было.
Но сегодня херня какая-то. Автоматизация выполнилась для двух товаров и на третьем вылезла какая-то не понятная ошибка.

selenium.common.exceptions.WebDriverException: Message: Failed to decode response from marionette

Я подумал может глюк какой. Запустил ещё раз автоматизацию, оно выдало мне сразу при автоматизации первого товара такую же ошибку.
Я что не пытался, куда не смотрел не понимал почему оно не работает. Ибо запускал точно ЭТОТ ЖЕ код у себя на маке, и оно там работало.

Потом я решил удалить на серваке этот файл с автоматизацией, и закинуть тот что у меня на маке(они одинаковые, но уже подумал чем чёрт не шутит)
И каким то образом это помогло.
Скрипт прогнал опять по автоматизации два товара.. и на третьем такая же ошибка.
И опять же при попытке заново запустить, он при первом же товаре выдаёт ошибку..

Вот полная ошибка:
источник

r

rink0 in Scrapy
источник

r

rink0 in Scrapy
я вообще не понимаю где здесь может быть связь..
может кто сталкивался или какую-то идею подкинет(
источник

К

Кирилл in Scrapy
источник

r

rink0 in Scrapy
Ага. Ток хотел зайти и сказать. Что как оказывается драйвер не закрывает браузер сам по себе. И он остаётся работать в фоне
источник

r

rink0 in Scrapy
Вот у меня и сервак на 60 процентов оперативы и был загружен
источник

r

rink0 in Scrapy
Капзда, столько нервов убил
источник

r

rink0 in Scrapy
И теперь понял почему раньше работал..
источник

K

Kayota in Scrapy
Ребят, дайте на_водочку.  Я делаю запрос вот по этой ссылке https://www.reebok.ru/api/products/G55899/availability, мне возвращает 200 и пустую строку, но по тому же запросу через requests - отдает то, что надо. Url и headers одни и те же.
источник