Телеграмм чат группы ctodailychat страница 9735

Size: a a a

ctodailychat

2021 August 30

https://github.com/lorien/awesome-web-scraping
есть ещё замечательная репа, но из своего опыта рекомендую выше названных

GitHub

GitHub - lorien/awesome-web-scraping: List of libraries, tools and APIs for web scraping and data processing.

List of libraries, tools and APIs for web scraping and data processing. - GitHub - lorien/awesome-web-scraping: List of libraries, tools and APIs for web scraping and data processing.

источник

12:29пожаловаться #1

Victor Stepankov in ctodailychat

+ на руби в свое время юзал Anemone, но когда последний раз его видел, было ощущение, что проект помер.
А так, приятненький был

источник

12:30пожаловаться #2

Aga Mahmudov in ctodailychat

А для nodejs какой из вариантов хороший?

https://github.com/lorien/awesome-web-scraping/blob/master/javascript.md#web-scraping-frameworks

GitHub

awesome-web-scraping/javascript.md at master · lorien/awesome-web-scraping

List of libraries, tools and APIs for web scraping and data processing. - awesome-web-scraping/javascript.md at master · lorien/awesome-web-scraping

источник

12:33пожаловаться #3

Victor Stepankov in ctodailychat

затрудняюсь с ответом, этот стек до недавних времен обходил меня

источник

12:35пожаловаться #4

Yaroslav in ctodailychat

тут про баланс между задротством и скоростью. пупитер можно выжать и на побыстрее, но если нужно скрапить много свего - то придется писать нативное приложение или обертку над существующими либами

источник

12:36пожаловаться #5

Aga Mahmudov in ctodailychat

У нас проблема как раз в объемах, пытаюсь понять как это потом масштабировать, ибо магазины стараются детектить и блокировать скрапперы.

источник

12:41пожаловаться #6

Yaroslav in ctodailychat

ну обычно этим занимается полноценная команда из 2-5 человек у которых только и стоит задача херачить скрапер так чтоб он обходил блокировки. Но тут тоже проблема, потому что есть хонейбаджи и прочие прелести, например авиасейлс любит таким попромышлять

источник

12:42пожаловаться #7

Victor Stepankov in ctodailychat

потому что любой запрос в GDS стоит для авиасала денег

источник

12:45пожаловаться #8

Илья in ctodailychat

Всем привет, сейчас стоим перед выбором db для аналитики, пользуемся AWS. Кейс такой, от фронта прилетает запрос на лямбду, которая ложит в очередь это события. Потом это событие по тригеру записывается в каую-то бд. После чего по джобе подсчитывать кол-во этих запросов по различным таймфреймам. Вопрос какую бд по эту задачу лучше всего выбрать.

источник

16:26пожаловаться #9

Igor V in ctodailychat

если у вас aws, лямбды, очереди , таймфреймы то смотрите в сторону Kinesis. там все выше перечисленное уже в коробке

https://docs.aws.amazon.com/kinesisanalytics/latest/dev/sliding-window-concepts.html

Amazon

Sliding Windows - Amazon Kinesis Data Analytics for SQL Applications Developer Guide

The example assumes a 5-second window. The 5-second window slides continuously with time. For every row that enters a window, an output row is emitted by the sliding window. Soon after the application starts, you see the query emit output for every new record that appears on the stream, even though a 5-second window hasn't passed yet. For example, the query emits output when a record appears in the first second and second second. Later, the query processes records in the 5-second window.

источник

16:32пожаловаться #10

Igor V in ctodailychat

но с такой постановкой задачи подойдет любая бд

источник

16:34пожаловаться #11

Илья in ctodailychat

Вот как раз накопал про связку Kinesis и Timestream под подобного рода задачи

источник

16:36пожаловаться #12

Илья in ctodailychat

Ну вначале мы подсчитывать будем ток по кол-ву записей, но потом хотелось бы еще кол-во в подкатегориях считать, да и поток расти будет)

источник

16:37пожаловаться #13

Andrey in ctodailychat

https://scrapy.org , выше уже все написали

источник

20:31пожаловаться #14

Toвapищ Maйop in ctodailychat

А вот чего вспомнил. Что это про клабхаус ничего не слышно в последнее время? Помнится приложение гремело на весь мир, а сейчас тишина. Что это было вообще?

источник

20:44пожаловаться #15

Valer Jan in ctodailychat

Собрали со всех сеть контактов, слили ее и сами слились.

источник

20:47пожаловаться #16

Dmitry in ctodailychat

Куда слились?) Приложение на месте, обновления прилетают. Просто хайп прошёл

источник

20:51пожаловаться #17

Toвapищ Maйop in ctodailychat

Как со спиннерами и попытами?

источник

20:52пожаловаться #18

Aga Mahmudov in ctodailychat

Для ноды такое найти, многое заброшено

источник

20:53пожаловаться #19

Artificial Iv in ctodailychat

Осознаю, что это не совсем то, но вдруг кому будет интересно
https://github.com/scanfactory/scrapy-selenium-seleniumwire
Мы поженили скрапи + селениум. Еще туда впилили модуль, который из фона собирает все забросы. Типа по шрифтам, xmlhttp etc

источник

21:04пожаловаться #20