Столкнулся с такой ситуацией что Scrapy в конце работы не выводит общую статистику по логу. Вернее иногда выводит, а иногда просто обрывается без  записи в лог.  Я просто этот сайт регулярно паршу, и знаю примерно на скольки реквестах и за какое время он будет спаршен. И вот именно в самом конце работы идет этот обрыв. Может в самом конце Scrapy нужно больше оперативки чтоб чекнуть ввесь лог и вывести общий отчет? И когда наступает этот пик с выводом отчета, скрипт из-за нехватки оперативки тупо падает. Может быть такой вариант?

Маловероятно

Столкнулся с такой ситуацией что Scrapy в конце работы не выводит общую статистику по логу. Вернее иногда выводит, а иногда просто обрывается без  записи в лог.  Я просто этот сайт регулярно паршу, и знаю примерно на скольки реквестах и за какое время он будет спаршен. И вот именно в самом конце работы идет этот обрыв. Может в самом конце Scrapy нужно больше оперативки чтоб чекнуть ввесь лог и вывести общий отчет? И когда наступает этот пик с выводом отчета, скрипт из-за нехватки оперативки тупо падает. Может быть такой вариант?

Там особого пика в конце нет.  У тебя ошибка process died?

У меня такое было когда писал много в файл, перешёл на бд и проблема ушла

Например писал спаршенные items в csv? оперативки не хватало? у меня просто в ходе работы всегда висит 1gb свободной оперативы, и вот думаю может еще докупить. А ты в какую базу пишешь? Используешь для записи в БД какую-то готовую мидлвару?

Добрый вечер! Пишу парсер. Получаю ссылки со страницы, пытаюсь сохранить в список list.. Далее отправляю на print этот список, в результате получаю https://pastebin.com/nxuWTMhE

надо питон подучить)

links = []
for row in table.find_all('a', rel='bookmark'):
        if row.has_attr('href'):
           links.append(row.get('href'))
print(links)

надо питон подучить)

links = []
for row in table.find_all('a', rel='bookmark'):
        if row.has_attr('href'):
           links.append(row.get('href'))
print(links)