D
Size: a a a
2020 December 03
A
Ну уже проще сделать и узнать как будет работать
МС
Ну, тут достаточно знать, что у скрапи один поток, а дальше как и во всех процессах, если заблочить основной поток, то асинхрон не будет работать, какой бы там реактор луп не стоял
просто человек еще больший параноик чем я :). это нормально
B
> Использовать css селекторы чтобы избежать пробелов в названии при использовании @class в xpath
о каких пробелах идет речь?не очень частный кейс, но иногда в ответе классы отдаются как ‘
name пробел’ и в итоге точный поиск по xpath не находит, можно конечно и на xpath написать запрос, но гараздо проще через cssМ
Джентльмены, а может кто ни будь подсказать по архитектуре приложения, как лучше замутить? Стоит задача через веб интерфейс отправлять паука на целевой сайт, паук сравнивает данные в базе и либо обновляет их либо ни чего не делает, а в интерфейс уже рендерятсч либо обновлённые данные либо старые из базы
М
В каяестве парсера выбрал Scrapy, на бэк не знаю что лучше
М
И монолитом лучше ваять или Restfull?
К
Мур
Джентльмены, а может кто ни будь подсказать по архитектуре приложения, как лучше замутить? Стоит задача через веб интерфейс отправлять паука на целевой сайт, паук сравнивает данные в базе и либо обновляет их либо ни чего не делает, а в интерфейс уже рендерятсч либо обновлённые данные либо старые из базы
Вариантов бэка на пайтоне не так уж много. И какую разницу в твоём случае ты видишь между монолитом и рестом?
М
Вариантов бэка на пайтоне не так уж много. И какую разницу в твоём случае ты видишь между монолитом и рестом?
Ну я погуглил с фласком допустим Scrapy не очень дружит как я понял, типа можно заеостылить но так себе, а про архитектуру, я вот и не знаю, что удобнее потом поддерживать, пауков ведь регулярно нужно будет модифицировать, при изменении цс, удобно это будет делать при монолите, может кто то уже сталкивался
К
Мур
Ну я погуглил с фласком допустим Scrapy не очень дружит как я понял, типа можно заеостылить но так себе, а про архитектуру, я вот и не знаю, что удобнее потом поддерживать, пауков ведь регулярно нужно будет модифицировать, при изменении цс, удобно это будет делать при монолите, может кто то уже сталкивался
Скрапи дружить ни с чем не удобно. Но вместо фласка лучше джанго возьми, в сети есть разные примеры скрещивания
К
Мур
Вот может тогда и попробовать через рест?
В том же джанго можно делать рест + есть разные довески типа темплейтов, ORM, админки и т.п. Некоторые считают что это минус, потому что джаго выходит тяжелым, хотя если эти части нужны и их прикручивать к фласку или к fastapi, то скорее всего будет так же тяжело, да ещё и архитектура будет хуже
М
В том же джанго можно делать рест + есть разные довески типа темплейтов, ORM, админки и т.п. Некоторые считают что это минус, потому что джаго выходит тяжелым, хотя если эти части нужны и их прикручивать к фласку или к fastapi, то скорее всего будет так же тяжело, да ещё и архитектура будет хуже
Ну я ещё пораскину мозгами, с джанго сталкивался поверхностно, фласк лучше изучил, и попривык уже накидывать нужные расширения