да, мы переводим в машиночитаемый формат, чтобы можно было уже дальше работать - анализ, визуализация и т.д.

и в чём это всё хранится?

или вы выступаете в роли некоего слоя, между оригинальными данными и просто трансформируете их на ходу?

Друзья, а не приходилось пользоваться community version of Pentaho для причесывания данных?

ведь, если вы возьмёте оригинал, очистите его и положите у себя, то завтра у источника они уже могут быть уже другие.

неа, впервые слышу

это один из ETL tools доступный на рынке. Есть коммерческая версия, а есть и свободная

сайт сделан на DKAN и Drupal, сервер, если я сейчас не путаю, на Digital Ocean. а между владельцем и конечным пользователем мы, да, выступаем вроде прослойки. по поводу обновления данных - да есть такая проблема, но в ней есть и "плюсы", в большинстве своем данные у владельцев редко обновляются: гос.статистика, как правило, не балует нас ежедневными апдейтами. есть, конечно, вещи которые мы сами парсим и там более интенсивное обновление, но таких наборов немного

мы обычно пользуемся сервисами вроде portia в сочетании с drupal, так можно накопить архив

portia - это типа скаппер-парсера чтото?

да, опэнсорсный софт

есть несколько таких сервисов, у каждого свои ньюансы

А есть ли некий список, где народ кричал бы: когда вы уже наконец прикрутите вот это...

в смысле к opendata.by прикрутите?

именно то что они требуют, а этого нет ещё

Boris , мне як для інжынэру pentaho і аналягі падаліся дзіўнымі, але гэта было даўно і ня глыбока, базавыя веды python больш карысныя імхо

sergey  как голосовалка за фичи в tableau?

похоже на то, да

Павел, смотря на каких проекта и задачах...

а где голосовалка то?