Size: a a a

Архитектура данных

2020 July 16

А

Александр in Архитектура данных
NLS_LANGUAGE  RUSSIAN
NLS_TERRITORY  RUSSIA
NLS_CURRENCY  ₽
NLS_ISO_CURRENCY  RUSSIA
NLS_NUMERIC_CHARACTERS  ,
NLS_CALENDAR  GREGORIAN
NLS_DATE_FORMAT  DD.MM.YYYY HH24:MI:SS
NLS_DATE_LANGUAGE  RUSSIAN
NLS_CHARACTERSET  AL32UTF8
NLS_SORT  RUSSIAN
NLS_TIME_FORMAT  HH24:MI:SSXFF
NLS_TIMESTAMP_FORMAT  DD.MM.YYYY HH24:MI:SSXFF
NLS_TIME_TZ_FORMAT  HH24:MI:SSXFF TZR
NLS_TIMESTAMP_TZ_FORMAT  DD.MM.YYYY HH24:MI:SSXFF TZR
NLS_DUAL_CURRENCY  р.
NLS_NCHAR_CHARACTERSET  AL16UTF16
NLS_COMP  BINARY
NLS_LENGTH_SEMANTICS  BYTE
NLS_NCHAR_CONV_EXCP  FALSE
источник

CO

Chern Oleksander in Архитектура данных
Александр
NLS_LANGUAGE  RUSSIAN
NLS_TERRITORY  RUSSIA
NLS_CURRENCY  ₽
NLS_ISO_CURRENCY  RUSSIA
NLS_NUMERIC_CHARACTERS  ,
NLS_CALENDAR  GREGORIAN
NLS_DATE_FORMAT  DD.MM.YYYY HH24:MI:SS
NLS_DATE_LANGUAGE  RUSSIAN
NLS_CHARACTERSET  AL32UTF8
NLS_SORT  RUSSIAN
NLS_TIME_FORMAT  HH24:MI:SSXFF
NLS_TIMESTAMP_FORMAT  DD.MM.YYYY HH24:MI:SSXFF
NLS_TIME_TZ_FORMAT  HH24:MI:SSXFF TZR
NLS_TIMESTAMP_TZ_FORMAT  DD.MM.YYYY HH24:MI:SSXFF TZR
NLS_DUAL_CURRENCY  р.
NLS_NCHAR_CHARACTERSET  AL16UTF16
NLS_COMP  BINARY
NLS_LENGTH_SEMANTICS  BYTE
NLS_NCHAR_CONV_EXCP  FALSE
А какой у вас GUI?
Toad/ sqlplus ?
источник

CO

Chern Oleksander in Архитектура данных
Если через sqlplus выгрузить тоже крякозяблы ?
источник

А

Александр in Архитектура данных
В данный момент он у нас не установлен..
источник

PG

Paul Golubev in Архитектура данных
Chern Oleksander
и у меня вопрос ((

Короче перешел на новую арбайт контору и тут немного весело с данными
Есть 4 БД(мускл, пг, монго, кликкауз) и внутри еще куча БД (схемы судя по всему люди не знали что такое...)

Что внутри и как не кто не знает, что б узнать, нужно лазить по скриптам JS/PHP и высматривать каждую таблицу отдельно, их всего 180 шт, пока я все разберу я уже состарюсь ))

И сам вопрос, как бы вы делали переезд всей этой кухни, если б у вас была такая возможность?
Я планирую переехать в облако на BigQuery, перед этим создать описание всех таблиц, которые смогут покрыть потребность бизнеса и аналитики, но что делать со старыми данными?

Я думал загрузить то что есть в новые таблицы, а то что нужно добавить уже будет с того момента как появилась новая структура
180 штук это крайне мало. Что там orm? Тогда какой-нибудь phpdoc и спокойно ищите, может приложение в mvc, mvvm паттерне, тогда все объекты в одном месте могут быть. Если нет и комментов тоже нет, то скриптом из php и  js тоже можно пройтись, выловить описания именно таблиц.

Ну и реверс инжиниринг самих бд тоже может что-то дать
источник

CO

Chern Oleksander in Архитектура данных
Paul Golubev
180 штук это крайне мало. Что там orm? Тогда какой-нибудь phpdoc и спокойно ищите, может приложение в mvc, mvvm паттерне, тогда все объекты в одном месте могут быть. Если нет и комментов тоже нет, то скриптом из php и  js тоже можно пройтись, выловить описания именно таблиц.

Ну и реверс инжиниринг самих бд тоже может что-то дать
Орм нет не слышали тут))
Это веб морды + одна с играми
Я та и делаю что ищу что куда и от куда, но реально долго, там что-то вроде такого, каждые 5мин в редис кладут данные, потом вытягивает из редиса в csv, потом зачем-то зипуют, потом загружают в мускл от туда в пг и из мускула в кликхаус, и что-то напрямую в монго и что-то из мускула/пг в монго.
источник

PG

Paul Golubev in Архитектура данных
Это боль, которую обычно решают полным переписыванием и обоснованием, действительно ли прошлые данные нужны и важны)
источник

CO

Chern Oleksander in Архитектура данных
Paul Golubev
Это боль, которую обычно решают полным переписыванием и обоснованием, действительно ли прошлые данные нужны и важны)
А вот трудно понять что нужно, а что нет...
Больше склоняюсь к созданию полностью новой модели, будет datalake/dwh и отдельно для операционки орм-постгрес.
Других вариантов не вижу(

Если есть идеи, буду рад услышать. Потому что неделя моей жизни ушла в некуда
источник

PG

Paul Golubev in Архитектура данных
Есть много путей для выяснения, нужны или не нужны какие то данные, или даже старые модули и системы. Один из них такой - отключает часть и ждём - если кто-то поднял тревогу и не надуманную, а действительно в его работе это полезно, включаем обратно, попутно записывая, кто разбирается в теме/бизнес процессе. Для этого надо иметь смелость и быть готовым к негативу)
источник

PG

Paul Golubev in Архитектура данных
Но механизм вполне рабочий, вполне возможно, 70% старых данных и не нужно будет
источник

PD

Phil Delgyado in Архитектура данных
Chern Oleksander
и у меня вопрос ((

Короче перешел на новую арбайт контору и тут немного весело с данными
Есть 4 БД(мускл, пг, монго, кликкауз) и внутри еще куча БД (схемы судя по всему люди не знали что такое...)

Что внутри и как не кто не знает, что б узнать, нужно лазить по скриптам JS/PHP и высматривать каждую таблицу отдельно, их всего 180 шт, пока я все разберу я уже состарюсь ))

И сам вопрос, как бы вы делали переезд всей этой кухни, если б у вас была такая возможность?
Я планирую переехать в облако на BigQuery, перед этим создать описание всех таблиц, которые смогут покрыть потребность бизнеса и аналитики, но что делать со старыми данными?

Я думал загрузить то что есть в новые таблицы, а то что нужно добавить уже будет с того момента как появилась новая структура
А зачем в BigQuery выгружать вообще все таблицы? Может нужны только конкретные срезы/выборки и грузить именно их?
Ну и 180 таблиц - это на три недели разбираться.
источник

CO

Chern Oleksander in Архитектура данных
Phil Delgyado
А зачем в BigQuery выгружать вообще все таблицы? Может нужны только конкретные срезы/выборки и грузить именно их?
Ну и 180 таблиц - это на три недели разбираться.
А я и не говорил, что буду все грузить)
Все выгружу в google storage, а в BQ уже только срезы для PowerBi и аналитика
источник

CO

Chern Oleksander in Архитектура данных
Paul Golubev
Но механизм вполне рабочий, вполне возможно, 70% старых данных и не нужно будет
Если подкините ещё идейки, буду благодарен )
источник

А

Александр in Архитектура данных
Нужна будет помощь с Power BI - обращайся )
источник
2020 July 17

CO

Chern Oleksander in Архитектура данных
Александр
Нужна будет помощь с Power BI - обращайся )
+)
источник

А

Александр in Архитектура данных
Пиши в лс если что )
источник

Н

Николай in Архитектура данных
Коллеги, как вы версионируете дашборды powerbi
источник

DL

Dmitry Lebedev in Архитектура данных
Николай
Коллеги, как вы версионируете дашборды powerbi
Профильный вопрос для профильного чата ;)
источник

Н

Николай in Архитектура данных
Тут Александр помощь обещал - по поверби - ну я и подумал - что профильный
источник

DL

Dmitry Lebedev in Архитектура данных
Николай
Тут Александр помощь обещал - по поверби - ну я и подумал - что профильный
источник