DD
если так серьезно заботит производительность, то http://go-colly.org/
та меня интересует в данный момент питоновский скрапи) просто есть один паук, который парсит достаточно много инфы. Возможно ли его распределить на несколько ядер?
Size: a a a
2019 August 25
DD
но за ссылку - спасибо
AS
та меня интересует в данный момент питоновский скрапи) просто есть один паук, который парсит достаточно много инфы. Возможно ли его распределить на несколько ядер?
По опыту гораздо чаще все упирается в «сеть» - время на реквест/респонз, прокси и тд, а в процессор может упереться если у вас там какие-то серьёзные вычисления происходят, но и в этом случае скорее всего сначала не хватит памяти
DD
Понял, спс
VP
кто знает есть ли в библиотеках таких как bs4 или lxml вещь которая делала бы мне такое:
на входе:
на входе:
<div>и она бы мне рекурсивно доставала вот так
<p>1</p>
<p>2</p>
<div>
<p>3</p>
</div>
</div>
<div><p>1</p></div>я надеюсь доступно обьяснил - просто даже не знаю как гуглить:D
<div><p>2</p></div>
<div><div><p>3</p></div></div>
iz
кто знает есть ли в библиотеках таких как bs4 или lxml вещь которая делала бы мне такое:
на входе:
на входе:
<div>и она бы мне рекурсивно доставала вот так
<p>1</p>
<p>2</p>
<div>
<p>3</p>
</div>
</div>
<div><p>1</p></div>я надеюсь доступно обьяснил - просто даже не знаю как гуглить:D
<div><p>2</p></div>
<div><div><p>3</p></div></div>
html2markdown?К
кто знает есть ли в библиотеках таких как bs4 или lxml вещь которая делала бы мне такое:
на входе:
на входе:
<div>и она бы мне рекурсивно доставала вот так
<p>1</p>
<p>2</p>
<div>
<p>3</p>
</div>
</div>
<div><p>1</p></div>я надеюсь доступно обьяснил - просто даже не знаю как гуглить:D
<div><p>2</p></div>
<div><div><p>3</p></div></div>
Умеют если ты умеешь ими пользоваться) попробуй xpath, находишь p а дальше идешь вверх
К
Парни, селениум в одном браузере работает довольно долго(переходит по ссылкам итп) и на какой то ссылке просто застывает и перестает работать(будто бы не может прогрузить стр). Думал после опреденного кол-во итераций перезагружать браузер, у вас есть решения?
Какая-то конкретная страница? Что в логах селениума?
2019 August 26
i
Парни, селениум в одном браузере работает довольно долго(переходит по ссылкам итп) и на какой то ссылке просто застывает и перестает работать(будто бы не может прогрузить стр). Думал после опреденного кол-во итераций перезагружать браузер, у вас есть решения?
гугли про expected conditions, там добавляешь проверки и эту часть перезагружаешь. А вообще еще сам хром может иногда падать, тогда проще перегрузить его, да)
а просто стоит когда - там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"?
а просто стоит когда - там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"?
UN
гугли про expected conditions, там добавляешь проверки и эту часть перезагружаешь. А вообще еще сам хром может иногда падать, тогда проще перегрузить его, да)
а просто стоит когда - там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"?
а просто стоит когда - там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"?
я пользуюсь файрфоксом,
там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"? - нет, страница просто не грузится. И так стоит если не перезапустишь скрипт.
Как бы селениум переходит по ссылке, но не грузит страницу
там страница при этом загружена? и не отваливается по таймауту с причиной типа "не смог найти элемент"? - нет, страница просто не грузится. И так стоит если не перезапустишь скрипт.
Как бы селениум переходит по ссылке, но не грузит страницу
АН
Ребят, а кто-то юзает например kdiff что бы сравнить запросы?
B
Ребят, а кто-то юзает например kdiff что бы сравнить запросы?
Что за запросы?
АН
Что за запросы?
Вообще предполагаются взаимосвязанные на один урл, в моем случае это злоебучий aspx
АН
кидаю в curl.trillworks и словарик в kdiff