DO
Size: a a a
2020 February 26
МС
Мне действительно интересно, что он хочет
ну, человек, в первую очередь, хочет получить ответ. Заодно определиться, можно ли расчитывать на фултайм работу в данном направлении
МС
Denis Olianiuk
Ну простых сайтов да, а если уметь парсить сайты которые не хотят что бы их парсили тогда нет?
не, ну, теоретически - возможно. Практически - лично я не вижу смысла брать такого спеца (именно по scrapy) на фуллтайм. Слишком широкий круг задачь должен быть по парсингу.
но это мое мнение...
но это мое мнение...
R
вставлю 3 копейки...Парсинг не сложный процесс - но доставляет много гемороя и трудозатрат, потому компании сейчас начинают выводить парсинг на аутсорс. Проще нанять компанию которая будет парсить, проверять и складывать данные - и это стоит не дорого...70 сайтов распарсить с разной структурой стоило в районе 10K$ - и это контора из европы...Потому знать только парсинг - это маловато - ну или идти в компанию которая на этом специализируется
AR
у нас если что открыта сейчас вакансия, https://apply.workable.com/scrapinghub/j/82B921A4F7/
DO
вставлю 3 копейки...Парсинг не сложный процесс - но доставляет много гемороя и трудозатрат, потому компании сейчас начинают выводить парсинг на аутсорс. Проще нанять компанию которая будет парсить, проверять и складывать данные - и это стоит не дорого...70 сайтов распарсить с разной структурой стоило в районе 10K$ - и это контора из европы...Потому знать только парсинг - это маловато - ну или идти в компанию которая на этом специализируется
Это разовый платеж с гарантией что не будут капчи прилетать и без лимитов по запросам?
DO
Ахаха
B
Не удивлюсь если Индия наняла русских/украинцев/.. так и живем 😀
DO
Такой вопрос, кто знает, для селениума какие махинации стоит проделать, что бы он стал максимально похожим для сайта на обычный хром?
1. navigator.webdriver - убрать.
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
2. В webdriver.exe заменить '$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
3. Запускать с
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
4. Что еще?
1. navigator.webdriver - убрать.
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
2. В webdriver.exe заменить '$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
3. Запускать с
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
4. Что еще?
Р
Denis Olianiuk
Такой вопрос, кто знает, для селениума какие махинации стоит проделать, что бы он стал максимально похожим для сайта на обычный хром?
1. navigator.webdriver - убрать.
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
2. В webdriver.exe заменить '$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
3. Запускать с
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
4. Что еще?
1. navigator.webdriver - убрать.
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
2. В webdriver.exe заменить '$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
3. Запускать с
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
4. Что еще?
Выбрать драйвер хрома
i
К примеру при запросе на
https://www.google.com/search?client=ubuntu&channel=fs&q=scrapy+shell+cut+links&ie=utf-8&oe=utf-8запрос идёт на
https://www.google.com/search?client=ubuntu
кавычки ставь или url-percent encoding юзай
2020 February 27
AO
Всем привет, подскажите пожалуйста, какие таблицы базы данных должны быть для веб-сканера интернета, чтобы потом поисковую систему на ней сделать.
МС
Всем привет, подскажите пожалуйста, какие таблицы базы данных должны быть для веб-сканера интернета, чтобы потом поисковую систему на ней сделать.
хм, там может сначала надо определишся, какие таблицы нужны для того, что бы сделать поисковую систему?
и да, не обижайся, но вопрос из раздела: как сделать кнопку "красиво"
и да, не обижайся, но вопрос из раздела: как сделать кнопку "красиво"