тогда ещё два вопрос - пока тут есть кто-то)
как вы запускаете кравлеры в "продакшен моде" - грубо говоря где и как хостите?
вот мне нужно хотлайн для диплома скрапить - цены от туда собирать, ну допустим каждый день в течении месяца - двух
как и где мне его лучше по крону записать. Желательно фрии
и второй вопрос - как мне сделать скрапи мене палевным =)? допустим таймауты выставлять, хедеры подменять? что почитать? как самии делаете?

много инфі? сколько паук будет работать?

смотря конечно о какой ошибке ты говоришь, если скинешь будет точнее ответ. Твой вариант может присвоить None, это самый плохой исход

скрапи клауд или сам запусти на дигитал оушене. тебе ж ,как студенту купонов ДО дал?))

не очень понятно, что нужно.

плюсую за digital ocean, + можно хероку

да я терперть не могу ДО - я просто уже на работе работаю с AWS, после него ДО стрёмным кажется)

Интересует самый плохой исход, когда не находит даже путь. Главное чтобы весь item из за этого не навернулся и вернул нужные значения, а по данному значению можно и None.

ну проще тебе самому взглянуть - https://hotline.ua/mobile/mobilnye-telefony-i-smartfony/ - каждый товар на всех ссылках пагинации
ну и так 3-5 категорий

думаю разбить по краулеру на категорию
думаю что не долго

ну попробуй скрапи клауд. не хватит, то как студент бесплатно на дижитал оушене сделаешь

ну на авс сервере запили

значит норм, просто помни что там может быть None, если не будет элемента на старнице

i.add_xpath('name', "//h1/text()") - так будет все ок.
а так обработай сам ошибку в трае и ексепте если нужно.

Itemloader обязательно юзать?

для диплома надо парсер написать? а то я без образования, раз парсер напишу, то можно легко вух окончить?

та нет конечно. можно елдом словарь возвращать. значения перед этим траем и ексептом обработай

Мне данные для анализа нужны) готовых датасетов нету

Соберу вот

Поищу