A
Да
Size: a a a
2021 June 04
МС
тогда убирай экранирование ошибок и посмотри, входит в пайп или нет
A
такс, еще вопрос - как ускорить ?)
2021-06-04 13:16:09 [scrapy.extensions.logstats] INFO: Crawled 71 pages (at 17 pages/min), scraped 1729 items (at 454 items/min)
A
ет очень медленно, нужно спарсить 3млн страниц (и ето я отключил рав, с ним еще медленее)
МС
если они режут частоту - то прокся, если дохлый сервак - то рыдать :)
МС
а, блин, точно...
1. алхимия в принципе тормознутая (по крайней мере, все тесты, которые я видел)
2. писать по одному айтему.... так себе идейка
3. не использовать SQL инструкции, типа IGNORE/REPLACE то же не есть хорошо...
1. алхимия в принципе тормознутая (по крайней мере, все тесты, которые я видел)
2. писать по одному айтему.... так себе идейка
3. не использовать SQL инструкции, типа IGNORE/REPLACE то же не есть хорошо...
(
Для начала, попробовать увеличить количество параллельных запросов, CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 200. Если дальше -- распределять по нескольким процессам, напр. с помощью scrapy-redis
A
Щас думаю как правильно на балк инсерт переписать
(
Текущие 10 записей в секунду база должна держать даже с кодом написанным через жо
(
Я по несколько сотен записей в секунду в мускул вставлял безо всякой оптимизации. Правда без алхимии
(
Я бы для пробы скорости пайплайн бд отключил и посмотрел, есть ли разница
A
точно проблема в алхимику
2021-06-04 14:50:20 [scrapy.extensions.logstats] INFO: Crawled 198 pages (at 198 pages/min), scraped 5227 items (at 5227 items/min)- ето запись в csv
(
Тогда возьми с гитхаба пайплайн по свою бд
МС
кстати, я не нашел там пайпов, что бы они батчами писали в SQL, а может хреново искал :))
я сначала полез свое писать, потом уже начал искать
я сначала полез свое писать, потом уже начал искать
МС
https://stackoverflow.com/questions/28264063/buffered-pipeline-using-scrapy
тут идейка записи после работы паука, легко перепиливается под запись по ХХХ айтемов
и попробуй заменить алхимию на пиво https://pypi.org/project/peewee/ оно, вроде, шустрее, по тестам
тут идейка записи после работы паука, легко перепиливается под запись по ХХХ айтемов
и попробуй заменить алхимию на пиво https://pypi.org/project/peewee/ оно, вроде, шустрее, по тестам
(
У нормальных баз данных есть буфер перед записью, так что батчинг может нифига и не дать
МС
"нормальные" это какие? :)
МС
сколько не писал в базы, а bulk_insert всегда шустрее цикла 🙃
(
да почти все популярные, mysql, postgres, sql server. За sqlite не ручаюсь, не смотрел