Centre de données et gouvernance des données : de Data Solo à Data Asset

Contexte: "Le profil des données commerciales"

Au cours de la dernière décennie, la Chine a fait de grands progrès dans le développement de la technologie de l'information pour ses entreprises - le compte ERP, CRM, WMS, WMS, OA, et les systèmes de grandes et petites entreprises couvrent un domaine d'activité chacun.Plus il y a de systèmes, plus il y a de données, plus la gestion de la vue globale est vague.。

Symptômes typiques : Les chiffres de recettes exportés de ERP par le secteur financier ne sont pas assortis du montant des fonds signés par les statistiques CRM; les jours de renouvellement des stocks pour les équipes de la chaîne d'approvisionnement ne correspondent pas aux données réelles de connexion et de connexion de l'entrepôt WMS; le PDG veut voir « la tendance des taux maoris dans les gammes de produits au cours des 12 derniers mois » et les équipes informatiques doivent coordonner trois départements, exécuter cinq déclarations et consolider manuellement avant de donner un chiffre « probablement possible ».

Ce n'est pas un problème avec les données.Données dispersées dans les systèmes d'entreprise "coastal", sans définitions, normes et points d'accès harmonisés. Les scènes décrites ici sont pour les entreprises avec des données multisystèmes isolées, rapportent des calibrations incohérentes et des analyses inefficaces.ZhiHua TechLa méthode de construction et de gouvernance des données ne représente pas la divulgation de données pour des clients particuliers.

Problèmes opérationnels typiques

1. Données dispersées plusieurs systèmes, vue unifiée globale manquante

• ERP contrôle les bons financiers, CRM contrôle les activités des clients, WMS contrôle le flux d'eau des stocks - le modèle de données des trois systèmes est indépendant les uns des autres, avec des codes, attributs et définitions de statut différents pour le même "client", "produit" et "commande" dans leurs systèmes respectifs.
• La direction veut voir « Customer 360 » — quels produits, historique des transactions, dossiers de plaintes, retours — il faut extraire les données manuellement d'au moins trois systèmes, puis les rassembler, et le processus prend du temps et les résultats sont sujets à erreur.
• Chaque entreprise maintient ses déclarations Excel et ses requêtes de base de données séparément, et le même indicateur (p. ex., « ventes mensuelles ») peut avoir cinq chiffres différents sur l'ordinateur de cinq personnes.

2. La qualité des données est inégale et l ' analyse est peu crédible

• Les données de base du matériau «une taille multiple»: la même vis du même fournisseur, qui est un ensemble de codes dans le ERP, un autre ensemble dans le WMS, et le troisième ensemble dans le BOM R & D. Cela entraîne de fréquentes erreurs dans les comptes d'inventaire, les rapprochements d'approvisionnement et la comptabilité des coûts.
• Données client répétées et contradictoires: plusieurs enregistrements (légèrement différents noms et coordonnées différentes) du même client dans CRM pour des raisons historiques, ventes ne sont pas claires sur quelle est la dernière version et marketing peut envoyer le même message texte trois fois au même client.
• Valeurs manquantes et anormales : Les champs clés (p. ex., montants des contrats, dates de livraison) sont vides ou nettement anormaux (date 1970-01-01), mais il n'existe pas de mécanisme automatisé de détection et de réparation de la qualité et de flux de données sale vers les rapports analytiques.

L'analyse des données repose sur un calendrier manuel et de prise de décisions médiocres

• Les analyses d'affaires reposent sur les puzzles Excel des cousins du jour au lendemain, qui sont il y a trois semaines. Les parties concurrentes ont adapté leurs stratégies de prix aux données en temps réel, et attendent des résultats.
• Quand l'entreprise pose une question exploratoire – - Quel est le taux de rachat des nouveaux clients au cours des trois derniers mois?- les analystes de données prennent une demi-journée pour écrire SQL, calibrer et produire des résultats.
• Manque de capacité d ' analyse par auto-assistance: les opérateurs ne peuvent pas faire glisser les données pour l ' analyse exploratoire eux-mêmes, et tous les besoins en données sont en attente dans la liste de travail du secteur informatique, créant ainsi des données typiques " effet de blocage ".

ZhiHua Tech Construction des supports de données Méthode

Inventaire des biens et gouvernance des données de base

La première étape dans la construction du centre de données n'est pas la sélection technique, mais plutôt la sélection technique.Découvrez les données, où elles sont distribuées, qui les utilise et quelle qualité elles sont.. ZhiHua Tech, par l'intermédiaire de l'atelier d'inventaire des actifs de données, travaille avec les unités commerciales de l'entreprise pour :

• Répertoire mondial des actifs de données: Combiner des fiches de données, des champs de données, des fréquences de mise à jour des données et des données pour tous les systèmes d'entreprise, et le propriétaire, pour former des cartes de données au niveau de l'entreprise.
• Normalisation des donnéesÉtablir des règles de codage, des spécifications d'attributs et des processus de maintenance au niveau de l'entreprise autour des entités de données centrales telles que les matériaux, les clients, les fournisseurs, les organisations, les comptes.
• Niveau de référence de la qualité des données• Indicateurs quantitatifs (exhaustivité, unicité, cohérence, actualité, exactitude) définissant la qualité des données, un examen complet de la qualité des données existantes, l'identification des groupes de qualité les plus critiques et l'élaboration de plans de gouvernance.

2. Modélisation de la formation et de la stratification des ensembles de données

Les squelettes techniques qui construisent le support de données sont établis après que les données soient claires:

• Couche de données (SDO): Synchronise les données originales des systèmes d'exploitation dans le support de données en temps quasi réel à travers le CCDC (changement de la capture des données), ETL/ELT conduit et API. Conserver le profil de données brut complet, non traité, et assurer la traçabilité des données.
• Niveau de dépôt de données (DW): en utilisant la modélisation de la dimension Kimball ou la méthodologie DataVault, qui nettoie, standardise, relie les données brutes et construit des modèles thématiques orientés analytiquement - thèmes de vente, sujets de passation de marchés, sujets d'inventaire, sujets financiers, sujets humains, etc. Cette couche est "une source unique de données crédibles".
• Ensembles de données (DM): Pour des scénarios d'affaires spécifiques (cockpit de gestion, analyse des entonnoirs de vente, analyse des performances de la chaîne d'approvisionnement, image du client), construire une vue large et indicateur de pré-agrégé, permettant aux parties d'affaires d'obtenir l'analyse requise au minimum de la complexité SQL.
• Gestion de l'étalonnage des indicateurs: Créer un dictionnaire des indicateurs d'entreprise – chaque indicateur (par exemple, GMV, Maori, jours de renouvellement des stocks, taux de rétention des clients) a un seul nom, calibrage, source de données et personne responsable. Lorsqu'il est cité dans une déclaration, l'index est extrait du dictionnaire des indicateurs, éliminant ainsi le problème des "nombres non spécifiés".

3. Analyses d ' auto-assistance et services de données

La valeur du centre de données se reflète en fin de compte dans « rendre les données accessibles à ceux qui en ont besoin » :

• Plateforme d'auto-assistance BI: Les opérateurs se connectent directement au niveau municipal de l'ensemble de données par des outils de glisser-connexion BI (par exemple Metabase, Superset ou Power BI), créent des rapports et des panneaux autogénérés sans intervention informatique en écrivant SQL. L'équipe IT est passée de "data sélecteur" à "data plate-forme support".
• Service de données API: Exposition externe des actifs de données dans le canal intermédiaire via REST API pour les applications front-end, la consommation de fin de programme mobile et de petite taille. Par exemple, le système CRM peut rechercher des données d'image 360 en temps réel, plutôt que de conserver une copie d'un client qui peut expirer localement.
• Analyse des données sur le sang et l'impact: Enregistrer le chemin de flux de données complet (ligne de sang) depuis le tableau source jusqu'à la fin de chaque rapport. Lorsqu'un champ d'un tableau est modifié en amont, toutes les parties dépendantes en aval sont automatiquement informées, évitant un "départ en amont sans savoir qui l'utilise"

Principaux composants techniques

Produits livrables

Orientation de la valeur prévue

• Un numéro, un calibre.La définition, la source et la logique de calcul de l'indicateur de performance de base de l'entreprise sont gérées centralement au milieu, et les chiffres que la direction voit sur tout rapport et sur tout écran sont dérivés des mêmes données.
• De "T+7" à "T+0".: Le cycle de mise à jour des données d'affaires est agrégé manuellement de semaine/mois à heure ou minutes pour synchroniser automatiquement, et les décideurs peuvent voir et répondre aux signaux de données le jour du problème.
• Productivité des technologies de l'information: Les opérations remplissent 80% de leurs besoins quotidiens en matière de prise en charge par l'auto-assistance BI, et l'équipe IT se concentre sur la construction de plateformes de données et l'amélioration de la qualité des données plutôt que d'être fatiguée de prendre un certain nombre de commandes de travail.
• Définir la base de données pour AI.: Des données commerciales de haute qualité et bien gérées sont des conditions préalables à la mise en œuvre de AI. Une fois le support de données terminé, la base de connaissances AI de RAG et la formation à la modélisation peuvent se connecter directement à des sources de données propres, réduisant ainsi de manière significative le cycle de pointe des projets AI.