Всем привет. Такая проблема: для парсинга динамического сайта, наша компания использует в проектах c# элемент управления WebBrowser. С недавнего времени, во время исполнения цикла по переходу страниц, приложение с веббраузером крашится в случайном порядке. Прога может проработать и 5 минут, а может прекратить работу почти сразу. Настойчивое гугление почти ничем не помогло, за исключением того, что браузер использует ie7, и что это очень нехорошо. Читал, что каким-то макаром можно изменить версию браузера по умолчанию, но в реестре по указанной ветке стоит ie8. Может быть, кто-нибудь сталкивался с этой проблемой? Подскажите решение плз, чтобы браузер не вылетал.

рекомендую глянуть в сторону HtmlAgilityPack и забыть о проблемах

scraper который работает на htmlagilitypack. парсить будешь по xpath или queryselector

и да, там можно указать useragent и прочие настройки

вроде в сообщении сказано, что там динамический сайт. Значит там много чего на жс создаётся

попробуйте перейти на webdriver или на puppeteer

puppeteersharp вполне неплох, но по некоторым вещам уступает вебдрайверу

не знаю как там с парсингом, но можно допустим выполнять js в headless browser типа ultralight и парсить это позже при помощи htmlagilitypack

Да там проблемка есть) парсим открытую инфу из росреестра, и ещё автоматически заказываем выписки. Скриптов выше крыши. Сам сайт написан чисто на джаве посредством vaadin, и для каждого поля ввода сначала загружается менюшка, а после выбора, значение отправляется на сервер динамически. Htmlagilitypack знаю такую, работаю с ней. Тут она не помощник, ибо на росреестре достаточно хитрая система аутентификации. Спасибо всем, посмотрю ссылки, чекну инфу

хедлесс браузер в помощь, выше ссылочку дали

Использовал Selenium chromedriver, остался очень доволен результатом) спасибо большое за совет про безголовые браузеры

Особенно понравилась возможность сделать скриншот. Она решила проблему с капчой

Доброго времени суток, не могу въехать что делаю не так, ни одной ошибки нет, сама проверка рабочая, но BackgroundWorker не запускается, пробовал много чего.

https://gist.github.com/DeniskhanRG/50cf4d152c86ab400286b9d25b0a923a

1. Рекомендую добавить трейсы в debug.writeline чтобы понимать что вообще происходит
2. RunWorkerAsync запускает воркера

пример:

а вообще конечно надо на таски переходить и вот это все

По поводу запуска уже узнал, но спасибо за ответ, а про задачи нужно прочитать. В общем спасибо!

Салам всем, совершенству нет предела, и свой код уже совершенствую, но вот сам еще не совершенен.

https://gist.github.com/DeniskhanRG/19d09aade558d388e5cb5cd4fbcb1776

Ругается что не в том потоке запускаю, кого куда в таком случае?