DM
ну это когда ты даешь свою апу в облако, а они там ее гоняют как хотят
Size: a a a
2018 October 06
DM
один сервак медленно будет парсить 200к сайтов, как ни крути
DM
либо в проц упрешься, либо в диск, либо в память
DM
хотя для хтмла много памяти не надо конечно
DM
вот прямо такие же страдания как у тебя с ботом :)
АВ
то есть у хецнера настолько жирный и быстрый канал, что я скорее в ресурсы упрусь, чем забью канал?
АВ
у вас кстати на слово кaнал сообщения удаляются :( Поэтому его приходится по особому писать
АВ
Ещё раз апну вопрос, кто нибудь в курсе, где можно условно бюджетный сервер взять с персональным гигабитным каналом в пределах 50$ но с оплатой в битках, и без мороки с досканальным KYC, как это происходит на хецнере.
АВ
Ещё такой вопрос, есть 200 гигабайтный файл, его надо очистить от дублей (повторяющиеся строки), чем быстрее всего это можно сделать? Уже операционная система роли не играет. Правильно ли я понимаю, что самое быстрое решение будет через линукс команду sort -u ?
АВ
разумное время, ну хотя бы пару недель... максимум месяц. Чем быстрее тем лучше, но не годы, как на винде софтинами типа TextPipe
A
Ещё такой вопрос, есть 200 гигабайтный файл, его надо очистить от дублей (повторяющиеся строки), чем быстрее всего это можно сделать? Уже операционная система роли не играет. Правильно ли я понимаю, что самое быстрое решение будет через линукс команду sort -u ?
Да. По идее будет быстрее, чем день
A
Хотя нет, идей тут нет - глупое предположение 😢
Но лучше чем
Но лучше чем
sort -u не найтиL
Ещё такой вопрос, есть 200 гигабайтный файл, его надо очистить от дублей (повторяющиеся строки), чем быстрее всего это можно сделать? Уже операционная система роли не играет. Правильно ли я понимаю, что самое быстрое решение будет через линукс команду sort -u ?
сразу в голову пришло 2 варианта:
- с помощью файловой системы reiserfs в линуксе, она позвоняет в одной папке держать милион мелких файлов с низкой сокростью доступа
- с помощью базы данных, если построчно в строчке не менее 10 символов, это это 20 лямов записей
дело в неделях не стоит, тут в часах
- с помощью файловой системы reiserfs в линуксе, она позвоняет в одной папке держать милион мелких файлов с низкой сокростью доступа
- с помощью базы данных, если построчно в строчке не менее 10 символов, это это 20 лямов записей
дело в неделях не стоит, тут в часах
АВ
благодарю за ответы.
NС
Есть в чате IT комании со штатом 20-30 человек с компитенциями решения задач блокчейн проектов ? Маякните в личку - такие )
NС
а есть реальные тут?)
SI
Есть в чате IT комании со штатом 20-30 человек с компитенциями решения задач блокчейн проектов ? Маякните в личку - такие )
А что нужно то?
NС
Есть задачи от международных блокчейн компаний. Ищу под эти задачи IT компании. Несколько IT компаний
J
Есть задачи от международных блокчейн компаний. Ищу под эти задачи IT компании. Несколько IT компаний
а как блокчейн компания может быть не IT компанией?
SI
а как блокчейн компания может быть не IT компанией?
Так там наоборот же: it с компетенциями в бч