VP
Если 3 парсера то один берет каждую первую запись, второй вторую а первую пропускает
Size: a a a
2021 January 17
ВВ
Люди, а fs.readFileSync может системный файл какой-то прочитать по абсолютному пути? типа /var/www/…
у меня почему-то не читается существующий файл
АП
Скорее нужен диспетчер, который будет воркерам слать пользователей
А не зашивать логику выбора пользователя в инстансы
А не зашивать логику выбора пользователя в инстансы
I
у меня почему-то не читается существующий файл
смотри ошибку
IT
у пользователей в исходном сервисе есть уиды? мб просто по ним и перезаписывать? это не будет гарантией что они не повторяются, типо задать в новом месте с дополнительным полем в базе uidСтороннейСистемы
ВВ
Igor
смотри ошибку
no such file or directory. а по факту он существует
С
Выше правильно написали
Идея в том, что с пользователем работает один инстанс, а не по инстансу на каждого пользователя
Идея в том, что с пользователем работает один инстанс, а не по инстансу на каждого пользователя
А в брокерах есть какая нибудь тулза, чтобы раз загрузить в него записи, и эти записи будут обрабатываться разными инстансами?
Чтобы подписчики брали эти записи с самого начала одну за одной, а когда вс обработали - возвращались в начало списка?
Чтобы подписчики брали эти записи с самого начала одну за одной, а когда вс обработали - возвращались в начало списка?
С
у пользователей в исходном сервисе есть уиды? мб просто по ним и перезаписывать? это не будет гарантией что они не повторяются, типо задать в новом месте с дополнительным полем в базе uidСтороннейСистемы
Да, есть id-шники пользователей.
А что значит в сторонней системе uid сторонней системы?
Из стороннего api я могу забирать только записи пользователей, писать туда ничего не могу
А что значит в сторонней системе uid сторонней системы?
Из стороннего api я могу забирать только записи пользователей, писать туда ничего не могу
IT
вообщем идея в том чтобы по uid контролировать наличие пользователя перед тем как его записать
IT
возможно технически у тебя такое не сделать, не все аспекты я понял)
С
вообщем идея в том чтобы по uid контролировать наличие пользователя перед тем как его записать
Тут тоже ведь может случиться так, что в одно время два инстанса могут взять в обработку запись пользователя, и увидеть, что ее нет
И записать 2 раза
Запрос к базе + запись примерно 30-60мс
И записать 2 раза
Запрос к базе + запись примерно 30-60мс
С
Тем более там записи берутся не по одной, а массивом
IT
Такое конечно возможно, а один воркер с очередью если такое делать будет, то думаю таких проблем быть не должно
IT
Если конечно время выполнения не ограничено
С
А rabbit выполняет таски начиная с тех, которые пришли раньше ?
IT
Там есть какая то история с распределением по очереди basic_qos / prefetch_cout
IT
Сам с этим не знаком честно говоря
Q
Здравствуйте, я хотел проверить работу скрипта, но не знаю js, в одном из сайтов сообщили что это node js. Не подскажите, как проверить его работу? https://github.com/loadchange/amemv-crawler/blob/master/fuck-byted-acrawler.js
С
Там есть какая то история с распределением по очереди basic_qos / prefetch_cout
Понял, Спасибо 👍
Буду копать
Буду копать
С
Q
Здравствуйте, я хотел проверить работу скрипта, но не знаю js, в одном из сайтов сообщили что это node js. Не подскажите, как проверить его работу? https://github.com/loadchange/amemv-crawler/blob/master/fuck-byted-acrawler.js
В консоль браузера можешь вставить )