AS
Size: a a a
2020 April 05
ША
Поверхностно, списки изучил. Александр, предложенный вами вариант работает, но я получаю количество списков равное количеству итераций скрипта.. в итоге в первой итерации в списке одна ссылка, во второй две ссылки и так далее и в результате выполнения скрипта я вижу все эти списки.. Как сделать, чтобы остался только один итоговый список?
2020 April 06
🎅B
Здравствуйте, не знаю куда задать этот вопрос, поэтому решил сюда
Когда я пишу
Это Json если что
Когда я пишу
data['region'], то появляется такая ошибка
TypeError: list indices must be integers or slices, not str
Это Json если что
К
Здравствуйте, не знаю куда задать этот вопрос, поэтому решил сюда
Когда я пишу
Это Json если что
Когда я пишу
data['region'], то появляется такая ошибка
TypeError: list indices must be integers or slices, not str
Это Json если что
Эт от не json, а список. Используй инт, а не строку, в ошибке это написано
🎅B
Где именно инт? типо написать int(data['region'])?
🎅B
да
🎅B
Да, знаю, что это лист
🎅B
Но где мне нужно поставить инт?
🎅B
Я не догоняю
AS
Поверхностно, списки изучил. Александр, предложенный вами вариант работает, но я получаю количество списков равное количеству итераций скрипта.. в итоге в первой итерации в списке одна ссылка, во второй две ссылки и так далее и в результате выполнения скрипта я вижу все эти списки.. Как сделать, чтобы остался только один итоговый список?
Видимо вынести links = [] до начала первого цикла
i
Столкнулся с такой ситуацией что Scrapy в конце работы не выводит общую статистику по логу. Вернее иногда выводит, а иногда просто обрывается без записи в лог. Я просто этот сайт регулярно паршу, и знаю примерно на скольки реквестах и за какое время он будет спаршен. И вот именно в самом конце работы идет этот обрыв. Может в самом конце Scrapy нужно больше оперативки чтоб чекнуть ввесь лог и вывести общий отчет? И когда наступает этот пик с выводом отчета, скрипт из-за нехватки оперативки тупо падает. Может быть такой вариант?
Чтобы исключить проблемы с памятью, типа ты на сервере это делаешь, ты можешь попробовать создать файл подкачки.