Centro de Dados Corporativos e Governança de Dados: Do Solo de Dados ao Activo de Dados

Fundo: A "Fata de Dados de Negócios"

Ao longo da última década, a China fez grandes avanços no desenvolvimento de tecnologia da informação para suas empresas - a conta ERP, CRM, WMS, WMS, OA, e os sistemas de grandes e pequenas empresas cobrem uma área de negócios cada. Mas uma realidade irônica é:Quanto mais sistemas existem, mais dados existem, mais vaga a gestão global de visão pode ver.。

Sintomas típicos: Os valores de receita exportados do ERP pelo setor financeiro não são comparados pela quantidade de dinheiro assinado das estatísticas do CRM; os dias de faturamento de ações para equipes da cadeia de suprimentos não correspondem aos dados de login e login reais do armazém WMS; o CEO quer ver "a tendência das taxas de Māori entre as linhas de produtos nos últimos 12 meses" e as equipes de TI precisam coordenar três departamentos, executar cinco declarações e consolidar manualmente antes de dar uma figura "presumivelmente possível".

Não é um problema com dados, é um problema.Dados espalhados pelos sistemas de negócio "costal", sem definições harmonizadas, padrões e pontos de acessoAs cenas aqui descritas são para empresas com dados multissistema isolados, reportar calibrações de forma inconsistente e análise ineficiente.ZhiHua TechA construção de dados no meio do estádio e a metodologia de governança de dados não representam a divulgação de dados para clientes específicos.

Desafios operacionais típicos

1. Dados dispersos múltiplos sistemas, visão unificada global faltando

• ERP controla os vales financeiros, CRM controla o negócio do cliente, WMS controla o fluxo de água do estoque - o modelo de dados dos três sistemas é independente um do outro, com códigos, atributos e definições de status diferentes para o mesmo "cliente", "produto" e "ordem" em seus respectivos sistemas.
• O gerenciamento quer ver "Customer 360" — que produtos, histórico de transações, registros de reclamações, retorna — precisa puxar dados manualmente de pelo menos três sistemas e depois colidi-los juntos, e o processo leva tempo e os resultados são propensos a erros.
• Cada empresa mantém suas declarações do Excel e consultas de banco de dados separadamente, e o mesmo indicador (por exemplo, "vendas mensais") pode ter cinco figuras diferentes no computador de cinco pessoas.

2. A qualidade dos dados é desigual e a análise é baixa em credibilidade

• Os dados mestre do material "multiple de um tamanho": O mesmo parafuso do mesmo fornecedor, que é um conjunto de códigos no ERP, outro conjunto no WMS, e o terceiro conjunto no BOM de P & D. Isso leva a erros frequentes na contagem de inventários, reconciliações de compras e contabilidade de custos.
• Dados repetidos e conflitantes do cliente: vários registros (nomes ligeiramente diferentes e diferentes detalhes de contato) do mesmo cliente no CRM por razões históricas, as vendas não são claras sobre qual é a versão mais recente e o marketing pode enviar a mesma mensagem de texto três vezes para o mesmo cliente.
• Valores anormais e falta de dados: Os campos-chave (por exemplo, quantidades de contrato, datas de entrega) são vazios ou claramente anormais (data 1970-01-01), mas não há mecanismo automatizado de detecção e reparação de qualidade, e fluxo de dados sujos para relatórios analíticos.

A análise dos dados baseia-se no tempo de tomada de decisão manual e no tempo de decisão fraco

• Análises de negócios dependem de primos do Excel quebra-cabeças durante a noite, que são três semanas atrás. Partes concorrentes ajustaram suas estratégias de preços para dados em tempo real, e estão esperando por resultados.
• Quando o negócio faz uma pergunta exploratória – “Qual é a taxa de recompra de novos clientes nos últimos três meses?” – os analistas de dados levam meio dia para escrever SQL, calibrar e produzir resultados. Quando eles recebem a resposta, a atenção do negócio pode ter mudado.
• Falta de capacidade de análise de auto-ajuda: Os operadores não podem arrastar dados para análise exploratória, e todas as necessidades de dados estão em fila na lista de trabalho do setor de TI, criando dados típicos "efeito de gargalo".

ZhiHua Tech Dados Media Construção Metodológica

Inventário de ativos de dados e governança de dados mestre

O primeiro passo na construção do data center não é seleção técnica, mas seleção técnica.Descubra quais são os dados, onde são distribuídos, quem os está usando e qual a qualidade que eles são.. ZhiHua Tech, através da oficina de inventário de ativos de dados, trabalha com unidades de negócios na empresa para:

• Diretório de ativos de dados globais: Combine folhas de dados, campos de dados, frequência de atualização de dados e dados para todos os sistemas de negócios, e proprietário, para formar mapas de dados de nível empresarial. Esta etapa aborda a questão de onde os dados estão.
• Normalização dos dados principaisEstabelece regras de codificação de nível empresarial, especificações de atributos e processos de manutenção em torno de entidades de dados principais, como materiais, clientes, fornecedores, organizações, contas.
• Referência da qualidade dos dados• Indicadores quantitativos (completude, singularidade, consistência, actualidade, precisão) que definem a qualidade dos dados, uma verificação de qualidade completa dos dados existentes, identificação dos painéis de qualidade mais críticos e desenvolvimento de planos de governação.

2. Formação de conjuntos de dados e modelagem de estratificação

Os esqueletos técnicos que constroem o suporte de dados são estabelecidos após os ativos de dados serem claros:

• Camada de Conjunto de Dados (ODS): Sincroniza os dados originais dos sistemas de negócios para o meio de dados em tempo próximo ao CCDC (captação de dados de mudança), conduíte ETL/ELT e API. Mantenha o padrão de dados bruto, não processado, e garantir a rastreabilidade dos dados.
• Nível de Repositório de Dados (DW): utilizando a metodologia Kimball dimensional modeling ou DataVault, que limpa, padroniza, vincula dados brutos e constrói modelos de domínio temáticos analiticamente orientados - temas de vendas, tópicos de compras, tópicos de inventário, tópicos financeiros, seres humanos, etc. Esta camada é "uma única fonte de dados credíveis".
• Conjuntos de dados (DM): Para cenários de negócios específicos (cockpit de gestão, análise de funil de vendas, análise de desempenho da cadeia de suprimentos, imagem do cliente), construa uma ampla folha e visão indicadora de pré-agregados, permitindo que as partes de negócios obtenham a análise necessária na complexidade mínima SQL.
• Gestão da calibração do indicador: Criar um dicionário de indicadores empresariais – cada indicador (por exemplo, GMV, Māori, dias de rotatividade de ações, taxas de retenção do cliente) tem um único nome, calibração, fonte de dados e pessoa responsável. Quando citado em qualquer declaração, o índice é retirado do dicionário de indicadores, eliminando o problema de "números não especificados" em tudo.

3. Serviços de análise e dados de autoajuda

O valor do data center é refletido em "faça os dados acessíveis àqueles que precisam dele":

• Plataforma BI de auto-ajuda: Operadores se conectam diretamente ao nível municipal de dataset por arrastar e carregar ferramentas BI (por exemplo, Metabase, Superset ou Power BI), criar relatórios e painéis autogerados sem intervenção de TI na escrita SQL. equipe de TI transição de "colhedor de dados" para "portador de plataforma de dados".
• Serviço de dados API: Exposição externa de ativos de dados no canal médio via REST API para aplicações front-end, fim móvel e pequeno consumo de programas. Por exemplo, o sistema CRM pode procurar dados de imagem 360 do cliente em tempo real, em vez de manter uma cópia de um cliente que pode expirar localmente.
• Análise de sangue e impacto dos dados: Registre o caminho de fluxo de dados completo (linha de sangue) da tabela de origem até o final de cada relatório. Quando um campo de uma tabela é alterado a montante, todas as partes dependentes a jusante são automaticamente informadas, evitando uma "viagem a montante sem saber quem está usando-o"

Principais componentes técnicos

Entregas

Orientação do valor pretendido

• Um número, um calibre.A definição, a lógica de origem e de cálculo do indicador de desempenho empresarial principal são geridas centralmente no estágio médio, e os números que a gestão vê em qualquer relatório e em qualquer tela são derivados dos mesmos dados.
• De "T+7" a "T+0.": O ciclo de atualização de dados de negócios é manualmente agregado de semana/mês a hora ou minutos para sincronizar automaticamente, e os tomadores de decisão podem ver e responder aos sinais de dados no dia do problema.
• Liberar a produtividade de TI: As operações realizam 80% de suas necessidades diárias de take-out por auto-ajuda BI, e a equipe de TI se concentra em construir plataformas de dados e melhorar a qualidade dos dados em vez de estar cansado de receber uma série de ordens de trabalho.
• Defina a base de dados para o AI.: Dados de negócios bem gerenciados e de alta qualidade são pré-requisitos para a implementação do AI. Uma vez concluído o meio de dados, o treinamento de base de conhecimento AI da RAG pode se conectar diretamente a fontes de dados limpas, reduzindo significativamente o ciclo de lead-up para projetos AI.