AR
да
Size: a a a
2020 October 30
A
в базу свою или в базу скрейпи?
A
типа кешдб
МС
Andrii
в базу свою или в базу скрейпи?
хз, кто такая "база скрепи", я обычно на постгресе под такие объемы базу заряжаю
A
хз, кто такая "база скрепи", я обычно на постгресе под такие объемы базу заряжаю
можно пример?
МС
Andrii
можно пример?
пример чего?
у тебя вообще, постоянный парсинг или одиночный?
у тебя вообще, постоянный парсинг или одиночный?
A
пример чего?
у тебя вообще, постоянный парсинг или одиночный?
у тебя вообще, постоянный парсинг или одиночный?
етого сайта - одиночнЬІй
AR
Да хоть в текстовый файл
МС
ну
1. таблица с ссылками, там же "состояние" (новая, в очереди, обработана)
2. таблица с результатом
парсер берет ссылки только из базы, никаких yield Request
если парсер увидел нужную ссылку на странице, он бросает ее в базу
парсер при старте или по spider_idle берет пачку ссылок и отправляет их с соответствующим колбеком
при таком раскладе, из базы спокойно можно дергать 10 000 - 100 000 ссылок
1. таблица с ссылками, там же "состояние" (новая, в очереди, обработана)
2. таблица с результатом
парсер берет ссылки только из базы, никаких yield Request
если парсер увидел нужную ссылку на странице, он бросает ее в базу
парсер при старте или по spider_idle берет пачку ссылок и отправляет их с соответствующим колбеком
при таком раскладе, из базы спокойно можно дергать 10 000 - 100 000 ссылок
МС
у меня на таком алгоритме один парсер пахал, примерно, месяц. И все норм.
МС
блин, куды такую статейку запостить? :). на хабре нафуй, наверное, пошлют 😂
наверное третий или четвертый раз такое объясняю 🧐
наверное третий или четвертый раз такое объясняю 🧐
МС
Медиум
кто или что?
A
S
блин, куды такую статейку запостить? :). на хабре нафуй, наверное, пошлют 😂
наверное третий или четвертый раз такое объясняю 🧐
наверное третий или четвертый раз такое объясняю 🧐
прикрепи к чату канал и туда интересное можно постить
AR
опубликуй мидлварь на гитхабе :)
МС
Andrii
блин, ну, там, все на нерусских буковках...
МС
опубликуй мидлварь на гитхабе :)
ну, у меня не настолько все "круто" :)). Сам паук по функции для базы :)
A
блин, куды такую статейку запостить? :). на хабре нафуй, наверное, пошлют 😂
наверное третий или четвертый раз такое объясняю 🧐
наверное третий или четвертый раз такое объясняю 🧐
короче, я понял, убрать йелд и просто писать весь луп в файл ?)
A
и не будет проблем с памятю?