IB
Не, ну если с cpp сравнивать то на питоне проще обрабатывать это факт)
Size: a a a
2021 June 21
MD
cpp вообще-то еще норм. Вот раст засада была бы)
MD
ну это если за скоростью гоняться же. А ради спарсить за день два.. Выделил вагон процов на это дело и все.
MD
Есть же вариант еще сделать самую ресурсоемкую часть на C и подключить к питону.
IB
У меня сейчас много вариантов... apache Nifi и там на джаве понаделать преобразований, на .net сервис написать, в конце концов поняделать хранимок на субд
MD
немного оптимизуруется скорость
MD
про хранилки я бы сразу перестал думать. Мое имхо
IB
Есть смутные сомнения в производительности питона. Школьные файлики для тестов и всякие цветочные наборы данных для ML это то что тянет понятно. Но вот например распарсить тысячу xml файлов преобразовать во фреймы нужную часть и далее вставку данных сделать. Что-то я не уверен
MD
Мне кстати симпатичен подход в больших компаниях когда MVP пишут на пайтоне, смотрят как оно работает а потом избирательно переписывают куски на чем-то более адекватном.
Плюсов как минимум два:
- быстрое понимание что оно вообще взлетит (тестируется архитектура и подбирается правильный подход)
- скорость получения готового решения
- дешевле
Плюсов как минимум два:
- быстрое понимание что оно вообще взлетит (тестируется архитектура и подбирается правильный подход)
- скорость получения готового решения
- дешевле
MD
мой личный опыт:
7000 pdf файлов. Каждый файл от 30 до 120 страниц. Парсятся все страницы и заливается в MySQL.
На одном довольно тухлом ядре 6 дней.
По количеству ядер ускорение происходило кратно.
7000 pdf файлов. Каждый файл от 30 до 120 страниц. Парсятся все страницы и заливается в MySQL.
На одном довольно тухлом ядре 6 дней.
По количеству ядер ускорение происходило кратно.
IB
Я уверен что взлетит) На чем более адекватном можно написать? Кто как думает?
ИШ
Если через контейнеры запустить на docker, То норм задача. Масштабирование сотни экземпляров на разных серверах, пропускную мощность можно менять мгновенно. При этом легкая разработка на python.
Но сложно админить)
Но сложно админить)
MD
админить считаю не самой большой сложностью.
База данных может стать bottle neck если много инстансов будет писать одновременно.
База данных может стать bottle neck если много инстансов будет писать одновременно.
ИШ
Можно в файлы писать агреггированную по N файлам инфу, а потом пылесосить последующим процессом уже в базу
ИШ
A
Подскажите можно ли связать в dinamic view шаблонное приложение и базовое по измерениям? Т.е. нужно менять фильтры в базовом и в динамических видах видеть применение этих фильтров. Перечитал несколько раз хелп клика, вроде пишут что можно, но как не понятно
A
Всем привет. Подскажите, можно ли в сводной таблице получать данные на последний день месяца? Использование в СетАнализе формулы типа Дата = {"$(=(Max(Дата))"} возвращает результаты только на самую последнюю дату, а хотелось бы на последнюю дату каждого месяца))
A
Оборачивание даты в Aggr, типа: Aggr(Max(Дата), Месяц) - не помогает, результат все равно возвращается только на самую последнюю дату
A
Если использовать в качестве меры просто Max(Дата) (не в СетАнализе) - возвращает последнюю дату каждого месяца
A
А вот в СетАнализе - только самую последнюю