DS
готов сам погрузиться в это, но не понятно что именно курить так сказать.
Size: a a a
2020 December 15
BT
Можешь парсить выдачу гугла за час с помощью скриптов и слать результат через zabbix_sender
NS
мне нужно мониторить и скрейпить посты из соцмедиа, статьи блогов, сайтов типа medium. критерий - упоминание определённого слова. с чего начать изучение и получение первых результатов? нужно юзать сторонние API?
Так в гугле же можно установить триггер на определённое слово
DT
мне нужно мониторить и скрейпить посты из соцмедиа, статьи блогов, сайтов типа medium. критерий - упоминание определённого слова. с чего начать изучение и получение первых результатов? нужно юзать сторонние API?
есть готовые системы типо Avalanche, можно найти старую версию(которая не онлайн) и с ней работать
2020 December 16
AE
подскажите решение
python3 + Requests + BeautifulSoup
python3 + Requests + Scrapy
здесь сравнение библиотек: https://pythonru.com/biblioteki/sozdanie-parserov-s-pomoshhju-scrapy-i-python
javascript + Puppeteer
javascript + selenium
подробнее здесь: https://proglib.io/p/puppeteer-parsing-saytov-na-javascript-2020-06-16
go + Colly
подробнее здесь: https://medium.com/@ternary_cat/парсинг-сайтов-с-go-af42b5f6ac76
freelance
https://freelance.ru/alephone1/parser-socialnoj-seti-medium-com-3432817.html
python3 + Requests + Scrapy
здесь сравнение библиотек: https://pythonru.com/biblioteki/sozdanie-parserov-s-pomoshhju-scrapy-i-python
javascript + Puppeteer
javascript + selenium
подробнее здесь: https://proglib.io/p/puppeteer-parsing-saytov-na-javascript-2020-06-16
go + Colly
подробнее здесь: https://medium.com/@ternary_cat/парсинг-сайтов-с-go-af42b5f6ac76
freelance
https://freelance.ru/alephone1/parser-socialnoj-seti-medium-com-3432817.html
DS
спасибо за ответы! сейчас буду изучать
A
мне нужно мониторить и скрейпить посты из соцмедиа, статьи блогов, сайтов типа medium. критерий - упоминание определённого слова. с чего начать изучение и получение первых результатов? нужно юзать сторонние API?
Brand analytics, youscan и им подобные. Они тебе еще и аналитику вывалят по найденному
DS
Brand analytics, youscan и им подобные. Они тебе еще и аналитику вывалят по найденному
знаком
DS
мне чел, аффилированный с ba сказал что сбор данных может стоить от 10 млн., а youscan меня послали, не особо хочется к ним обращаться)
DS
тем более интересен не только ру мониторинг
A
ba от 2800 в месяц, а вообще их тонна подобных в том числе западных
E
мне чел, аффилированный с ba сказал что сбор данных может стоить от 10 млн., а youscan меня послали, не особо хочется к ним обращаться)
Ну, так-то 10 млн. за такой функционал это ещё по-божески.
Или вы думаете что сможете на коленке сделать свое решение без опыта?
А все что готовое имеет цену, которую определяет рынок
Или вы думаете что сможете на коленке сделать свое решение без опыта?
А все что готовое имеет цену, которую определяет рынок
A
Ну 10 млн это искать все упоминания путина за 5 лет условно)
IA
Это здесь действительно нужно?🙂
AE
а сбербанк так придет в чат?)
DS
ba от 2800 в месяц, а вообще их тонна подобных в том числе западных
спасибо, но я не настолько новичок, чтобы не знать о том, что вы говорите
DS
Это здесь действительно нужно?🙂
ну а в лс мне это точно не нужно
A
спасибо, но я не настолько новичок, чтобы не знать о том, что вы говорите
тогда в чем вопрос? хотите не платить и написать сами скрипт делающий тоже самое что и специализированные системы?
IA
Бред какой-то
A
с тем же успехом можно спросить как мониторить инфраструтуру, но заббикс сложно, а датадог дорого