Для того, чтобы не было ликов, нужен т.н. backpressure. Те модули, которые вы указали используют внутри себя eventemitter3, в котором backpressure отродясь не было.
ну и вот чтобы не быть голословным, накидал тут для примера. в любой момент времени выполняться будет не больше
concurrency и в самой очереди функций будет не больше
concurrency. на скорую руку, но суть, думаю, понятна:
const LINKS = [/* ... */];
const concurrency = 5;
const queue = new Queue({ concurrency });
async function task(link) {
// const res = await got(link);
// await saveResult(link, res);
await delay(1000);
}
let LAST_IDX = 0;
const runTask = async () => {
const link = LINKS[LAST_IDX];
if (!link) return;
LAST_IDX += 1;
await task(link);
queue.add(() => runTask());
};
for (let idx = 0; idx < concurrency; idx++) {
queue.add(() => runTask());
}
