Size: a a a

Node.js — русскоговорящее сообщество

2020 April 11

PS

Pavel Shakhov (pongo) in Node.js — русскоговорящее сообщество
rodion leon
Парсер я написал
нода же по-умолчанию запускает сетевые запросы в отдельных потоках.

поэтому твой парсер по-умолчанию должен загружать сразу все запросы одновременно. если ты не делаешь, конечно, for-of await
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Кста о парсерах) Пробую через needle распарсить сайт не могу обойти ddos защиту, есть какое то заклинание про это?)
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
~ MainTail ~
Кста о парсерах) Пробую через needle распарсить сайт не могу обойти ddos защиту, есть какое то заклинание про это?)
нет, и правильно делают
источник

­

­­ in Node.js — русскоговорящее сообщество
~ MainTail ~
Кста о парсерах) Пробую через needle распарсить сайт не могу обойти ddos защиту, есть какое то заклинание про это?)
индивидуально, защит миллион
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Могу показать
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
жопу покажи лучше
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Могу и жопу
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Общался с заднеприводными (phpшниками) они не такие токсичные)
источник

­

­­ in Node.js — русскоговорящее сообщество
самый простой вариант — puppeteer
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
потому что это вопросы не по ноде вообще
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Илья | 😶
потому что это вопросы не по ноде вообще
Мне спросить: "как в js объявить переменную"?
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
~ MainTail ~
Мне спросить: "как в js объявить переменную"?
не тут
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Ну вот
источник

~

~ MainTail ~ in Node.js — русскоговорящее сообщество
Я JS только коснулся я Java разработчик и тип какой чат дали, в такой и зашел
источник

J

Jakhongir in Node.js — русскоговорящее сообщество
никто не подскажет почему экспресс отправляет в ответ стандартный ответ ошибки Cannot GET
const express = require('express');

const app = express();
const port = process.env.PORT || 3000;

app.get('users', (req, res) => {
 res.send('GET');
});
app.post('users', (req, res) => {
 res.send('POST');
});
app.listen(port, () => {
 console.log(`Server is working on port ${port}`);
});
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Jakhongir
никто не подскажет почему экспресс отправляет в ответ стандартный ответ ошибки Cannot GET
const express = require('express');

const app = express();
const port = process.env.PORT || 3000;

app.get('users', (req, res) => {
 res.send('GET');
});
app.post('users', (req, res) => {
 res.send('POST');
});
app.listen(port, () => {
 console.log(`Server is working on port ${port}`);
});
/users пробовал ?
источник

J

Jakhongir in Node.js — русскоговорящее сообщество
да
источник

SK

Shamil Khalilov in Node.js — русскоговорящее сообщество
Jakhongir
никто не подскажет почему экспресс отправляет в ответ стандартный ответ ошибки Cannot GET
const express = require('express');

const app = express();
const port = process.env.PORT || 3000;

app.get('users', (req, res) => {
 res.send('GET');
});
app.post('users', (req, res) => {
 res.send('POST');
});
app.listen(port, () => {
 console.log(`Server is working on port ${port}`);
});
Корень страницы не указан в хендлерах, то бишь ‘/‘
источник

PS

Pavel Shakhov (pongo) in Node.js — русскоговорящее сообщество
на волне всех этих обсуждений на тему "вот запущу в несколько потоков и сразу код ускорится" я расчехлил профайлер.

у меня есть скрипт, который работал 20 секунд. я запустил профайлер и вижу нечто неожиданное: кучу времени уходит на .nextAll от cheerio. глянул в исходники cheerio — а эта штуковина сначала собирает массив всех элементов, а потом применяет к ним фильтр селектора.

у меня в большинстве случаев элементы по селектору не находятся, а значит nextAll вхолостую тратит ресурсы на собирание массива. ну я взял и дописал в свой код проверку типа .next(selector).length > 0.

и все, код ускорился аж в три раза: с 20 секунд до 6 секунд. без каких-либо потоков
источник