В скрепи как то можно искать текст на странице и  получать xpath к нему.?

How to store files in ftp server having ssl connection using scrapy?

Anyone please reply

Xpath Contains

Мне нравятся, mssql и pgsql, обе чудесно живут в высоконагруженных проектах, но зависит от настроек

Как собственно и прочии СУБД, зависит от потребностей

На mssql лично трогал терабайтную бд, но для своих использую постгрис, но очень важно правильно настроить из последних: ~100gb, на сервере 24гб озу, рейд из 8 винтов

Помогите пожалуйста разобраться с ошибкой. Есть список http проксей с авторизацией по логину и паролю.
Запускаю Scrapy на парсинг одного сайта. Первые 4 часа все пашет нормально. А потом тупо обрыв и сыпит подобные ошибки

Could not open CONNECT tunnel with proxy 78.131.40.66:30546 [{'status': 502, 'reason': b'Bad Gateway'}]

Could not open CONNECT tunnel with proxy 345.220.34.77:7654 [{'status': 407, 'reason': b'Proxy Authentication Required'}]

Но следует только перезапустить Scrapy наново, и все опять нормально пашет. все парсит через эти же прокси. Но опять через 4 часа сыпет подобные ошибки.
И так уже 3 сутки мучаюсь. перезапускаю, и не пойму в чем причина?

а что за прокси

DOWNLOAD_DELAY - попробуй добавить

серверные от fineproxy . А на сколько порекомендуете сделатьDOWNLOAD_DELAY ?

да ради интереса сделай 0.1-0.5

а там же привязка по ip вроде проксей?

Я пробовал файн прокси, 5 приватных лучше отрабатывали, чем их 1000

Ну ты про их пакетные?

ok) да по ip я и так и так пробовал, думал если с авторизацией сделать будет пахать. Но оно и без авторизации сыпет эти же ошибки

Да

rest.xpath('.//@href')[0].get()    если у элемента нету ссылок, то  выдает исключение. Есть какая то методика кроме try except ??

а кто-то запускал парсеры на хецнер клауде? может в нем дело?

Убрать [0]