с джава же системами работают преимущественно - office user, а не home
а сколько их, в самой самой транснациональной компании...

то есть, для большинства джава систем - проблема тьмы мелких запросов не стоит

Да я не об этом

Просто сколько бы языки эти не жили, джава точно уйдет последней

Ну мне так кажется.

посоветуйте путь написания парсера на node js

Таков путь ✋

ну библиотечку

Puppeteer

А в чем проблема? Если сайт без сложных защит, то просто http получаешь страницу, парсишь нужные данные через xpath или css, регулярное выражение в крайнем случае.

А если сложнее, то puppeter, как написали выше

а как же Cheerio, osmosis, apify

Puppeteer в этом смысле универсален. Можно и по воробьям и по слону

Когда нужна одна библиотечка 😁

к сожалению даже с помощью Puppeter не каждую защиту без доработки можно пройти. Но в большинстве случаев http достаточно

Короче не вижу проблем загуглить эту тему.

И лучше сразу предусмостреть прокси и ограничение скорости запросов с одного Ip если больший объем парсинга

да в гугле на самом деле, как всегда примеры аналогичные кошечкам и собачкам.

А в жизни cloudflare, recaptcha v2,3, funcaptcha, ограничения числа запросов и тд

"Жарко" в чатике было сегодня
По теме вакансий: у меня был как-то опыт - пришёл собеседоваться на пхп-программиста, а сказали сразу же учить руби (и РоР заодно) - пошёл на меньшую зп, за 2 недели учил руби))) Писал ботов, которые через руби-потоки параллельно парсят объявления с других сайтов - и размещают у нас (212.юа) - использовали sqlite

По факту уже больше 2х лет пишу на ноде. Здесь у меня "лычка" архитектора (но пишу только бэк). Но я с ужасом представляю, как я буду искать другую работу. После ТС - не хочу больше на пыхе писать - от слова "совсем" (только асинхронку хочу). Но с моим текущим стеком - кому я такой нужен? (serverless AWS lambda (terraform + S3, SNS, DynamoDB, Cognito, AppSync, CloudWatch, CloudFront, etc...) + node.js + TypeScript). Как раз в процессе апгрейда версии терраформа, чтоб он ноду14 поддерживал (+апгрейд версии ноды, разумеется). Не знаю фрейморков (Nest/Next/Nust/express). И во фронт тоже не хочу (пока Svelte не станет мейнтримом)

Из бэкграунда. Начинал на пыхе - с 2003-го года. В 2009-м меня взяли в Киеве в Магенту (пхп) - писать кор. А через полгода нас купил ИБэй (могу гордиться тем, что работал в ИБэй). Пилил с ними вторую Магенту (наша тима интеграцией с пейментами занималась - по большей части ПейПал). А потом я уехал в Берлин (по личным мотивам) - но было видно уже тогда, куда всё идёт в Магенте - и как видим, их продали Адоби.
По опыту - писал на многих языках (особенно в универе) - от Basic, TurboPascal, Delphi, C++ Builder до Lisp, C#, Lisp, Prolog. В жабаскрипте даже опыт с prototype либой имел ХД

Мне нравится в текущей компании. Наш "Диджитал" отдел вырос из 12 человек (я был первым бэком, 2м программистом в этом стартапе для компании, которая юзала только офсорс до этого). Сейчас есть пару аутстаф отделений, кроме офиса в Берлине (около 30 человек) - с командой дизайнеров, инжинеров и продакт-менеджеров.
Но самое интересное - другое. Компания - с многолетней историей, которая известна во многих странах - особенно среди женщин, потому что мы производим (свои фабрики есть) и продаём французское женское нижнее бельё. И никогда до 2014-го года (именно тогда я присоединился к "Digital" - e-commerce стартапу этой компании) наши онлайн-продажи не набирали такой оборот (TurnOver). Особенно это повлияло в ковид-времена, когда физические магазины стали закрываться, и оборот с онлайн-продаж стал существенно влиять (кстати, наши даже начали производить ковид-маски, что существенно повлияло на B2B доход). Забыл упомянуть, общий оборот компании - милллиарды евро.

В общем, могу ещё долго трындеть - опыт у меня большой... Печально было читать выше, что чисто бэкеры ноды - мало-нужны(((
...а ещё если serverless adept (ненавижу контейнеры и докер), а ещё любитель ФП и чистых функций... - то новую работу мне искать точно не стоит...

P. S. надеюсь, вас не удивляет, что компания по продаже женского нижнего белья пишет e-commerce serverless на AWS 😂

@tshemsedinov редирект на воркеры в метаком так и будет подвластен рандому? Или есть более изощренные способы это делать?

Или в принципе это максимум, который можно извлечь