PS
Увы не помогло, такая-же ошибка
Для firefox - Failed to launch browser!
Для firefox - Failed to launch browser!
попробуй в issues поискать
Size: a a a
2020 May 30
НК
Есть большой csv файл. Можно ли нодой его прочитать его по строками в несколько потоков?
И
Есть большой csv файл. Можно ли нодой его прочитать его по строками в несколько потоков?
я бы не делал это из ноды
4гб или сколько там по дефолту памяти
А вот плюсами я бы прошёлся)
4гб или сколько там по дефолту памяти
А вот плюсами я бы прошёлся)
НК
я бы не делал это из ноды
4гб или сколько там по дефолту памяти
А вот плюсами я бы прошёлся)
4гб или сколько там по дефолту памяти
А вот плюсами я бы прошёлся)
не знаю сколько, но через 5 минут все сожрало и упало.
И
не знаю сколько, но через 5 минут все сожрало и упало.
не удивительно
НК
так а потоки не помогут? Воркеры какие то
AE
так а потоки не помогут? Воркеры какие то
потоками и надо читать, а ты как читал?
НК
потоками и надо читать, а ты как читал?
я про системные потоки. Читал я через csvtojson, но с этим явно не получиться и буду что то другое искать, чтоб по строками читать
НК
мне его в память не надо загружать, нужно перегнать в монгу. Но в 1 поток это будет долго
НК
через readline наверное пойду и вручную парсить.
НК
и хочу сделать чтоб 1 поток читал первые 1кк строк, второй другой лям и тд. Как это сделать? Поток именно системный, thread не node stream
AE
и хочу сделать чтоб 1 поток читал первые 1кк строк, второй другой лям и тд. Как это сделать? Поток именно системный, thread не node stream
передавать offset в ноду при запуске скрипта и запустить несколько этих скриптов ?
НК
передавать offset в ноду при запуске скрипта и запустить несколько этих скриптов ?
ну это понятно, через ноду это нельзя сделать? Чтоб она сама создала несколько процессов
AE
ну это понятно, через ноду это нельзя сделать? Чтоб она сама создала несколько процессов
можно отдельным скриптом запустить рабочие, мне кажется это понимается/делается проще, чем какую-то рефлексию разводить
И
ну это понятно, через ноду это нельзя сделать? Чтоб она сама создала несколько процессов
неа, низя
ручками написать надо
Парни тебе через оффсеты годно посоветовали, но это тоже не повод для отвала процессов
Я через оффсеты делал большой парсинг (около 100к страниц) через 20 процессов, вроде норм всё прошло
ручками написать надо
Парни тебе через оффсеты годно посоветовали, но это тоже не повод для отвала процессов
Я через оффсеты делал большой парсинг (около 100к страниц) через 20 процессов, вроде норм всё прошло
НК
неа, низя
ручками написать надо
Парни тебе через оффсеты годно посоветовали, но это тоже не повод для отвала процессов
Я через оффсеты делал большой парсинг (около 100к страниц) через 20 процессов, вроде норм всё прошло
ручками написать надо
Парни тебе через оффсеты годно посоветовали, но это тоже не повод для отвала процессов
Я через оффсеты делал большой парсинг (около 100к страниц) через 20 процессов, вроде норм всё прошло
ну так и сделаю. Спс.
И
ну так и сделаю. Спс.
если будет отлетать- просто лимиты повысь по памяти на процесс и наблюдай как будет
A
I'm so happy trading with @Harrison_Trader he's different from other with his sincerity during my trading period with him I made a withdrawal of $14,800 in 48hours of trading. Thank you so much
НК
если будет отлетать- просто лимиты повысь по памяти на процесс и наблюдай как будет
по памяти не будет наверное, я теперь просто кусками сразу в базу буду перегонять. Просто ускорить хочу.