배경: "사업 자료의 기초"
지난 10 년 동안 중국은 기업을위한 정보 기술 개발에서 큰 strides를했다 - ERP 계정, CRM, WMS, WMS, OA, 큰 소규모 비즈니스 시스템은 각각 하나의 비즈니스 영역을 커버. 그러나 하나의 철 현실은 다음과 같습니다.더 많은 시스템은 더 많은 데이터가 있습니다. 더 많은 vague는 글로벌 뷰 관리가 볼 수 있습니다.。
ERP은 CRM의 자산에 따라 CRM의 통계에 따라 CRM의 서명된 돈에 의해 일치하지 않습니다. 공급망 팀의 재고 매출은 실제 로그인 및 창고 WMS의 로그인 데이터와 일치하지 않습니다. CEO는 과거 12 개월 동안 Māori 비율의 추세를보고 싶어하며 IT 팀은 3 부서를 협조해야하며, 5 개의 진술을 실행하고 수동으로 "presum"을 제공하기 전에 가능한 한 "presum"를 제공합니다.
데이터에 문제가 없습니다. 그것은 문제입니다.사업 시스템 "coastal"의 전체를 분산 데이터는 조화롭게 정의, 표준 및 액세스 포인트를 부족. 여기에 설명 된 장면은 다 체계 자료가 고립 된 기업을위한 것이며, 보고 교정은 현명하고 분석적인 불균형입니다.ZhiHua Tech데이터 중간 역 건설 및 데이터 관리 방법론은 특정 클라이언트에 대한 데이터의 공개를 나타내지 않습니다.
일반적인 작업 도전
1. Data scattered 다중 시스템, 글로벌 통합된 보기 누락
- ERP은 금융 상품권을 통제합니다, CRM는 고객 사업을 통제합니다, WMS는 주식에서 물의 교류를 통제합니다 - 3개의 체계의 자료 모형은 다른 부호와 더불어, 특성 및 상태 정의는 그들의 각각 체계에서 동일한 “클라이언트”를 위한 “제품” 및 “주문”를 위한 독립적인 입니다.
- 관리는 "고객 360"을보고 싶어 - 제품, 거래 내역, 불만 기록, 반환 - 적어도 3 개 시스템에서 데이터를 수동으로 끌어 다음 함께 공동으로, 프로세스는 시간이 걸리고 결과는 오류로 유언됩니다.
- 각 사업은 Excel 문 및 데이터베이스 쿼리를 별도로 유지하고, 동일한 지표 (예 : "매월 판매")는 5 명의 컴퓨터에서 다섯 가지 다른 숫자가있을 수 있습니다.
2. 데이터 품질은 무해하고 분석은 신뢰성이 낮습니다.
- 재료 마스터 데이터 "하나의 크기 여러": ERP의 코드 세트 인 동일한 공급자의 동일한 나사, WMS의 다른 세트, 그리고 R & D BOM의 세 번째 세트. 이것은 재고 조사, 조달 재구성 및 비용 회계에 빈번한 오류로 이어진다.
- 반복 및 충돌 클라이언트 데이터: 과거의 이유를 위해 CRM에 있는 동일한 고객의 다수 기록 (slightly 다른 이름 및 다른 접촉 세부사항), 판매는 최신 버전이고 마케팅은 동일한 고객에게 동일한 원본 메시지를 보낼지도 모르다에 관하여 명확하지 않습니다.
- 데이터 누락 및 비정상적인 값 : 키 필드 (예 : 계약 금액, 배달 날짜)는 비싸거나 명확하게 비쌉니다 (일 1970-01-01), 그러나 자동화 된 품질 탐지 및 수리 메커니즘이 없으며 분석 보고서에 더러운 데이터 흐름이 없습니다.
Data Analysis는 수동 및 빈번한 의사 결정 시간 프레임에 의존합니다.
- 3 주 전에 사촌 Excel 퍼즐에 의존하는 비즈니스 분석. Competing 당사자는 실시간 데이터에 대한 가격 전략을 조정하고 결과를 기다리고 있습니다.
- 비즈니스가 탐험 질문을 할 때 – “최근 3 개월 동안 새로운 클라이언트의 재구매 비율은 무엇입니까?” – 데이터 분석가 SQL, Calibrate 및 생성 결과를 작성하는 데 하루 반 걸립니다. 그들은 응답을 얻을 때, 비즈니스 관심은 이동할 수 있습니다.
- 자기자원 분석 능력의 부족 : 운영자는 스스로 탐사 데이터를 드래그 할 수 없으며 모든 데이터는 IT 부문의 작업 목록에서 할당되며 일반적인 데이터 "병목 효과"을 만듭니다.
ZhiHua Tech 데이터 미디어 건설 방법론
데이터 자산 재고 및 마스터 데이터 관리
데이터 센터를 구축하는 첫 번째 단계는 기술 선택이 아니지만 기술 선택이 아닙니다.데이터가 무엇인지 알아보세요. 배포되는 곳, 그 사용 중인, 어떤 품질이 있는지 알아보세요.. ZhiHua Tech, 데이터 자산 재고 워크샵을 통해, 기업에서 사업 단위와 함께 작동 :
- 글로벌 데이터 자산 디렉토리: 모든 비즈니스 시스템의 데이터 시트, 데이터 필드, 데이터 업데이트 주파수 및 데이터, 소유자, 엔터프라이즈 수준의 데이터 맵을 형성하기 위해. 이 단계는 데이터가 어디에 있는지의 질문을 해결합니다.
- 주요 데이터 표준화기업 수준의 코딩 규칙, 특성 사양 및 유지 보수 프로세스를 구성하는 핵심 데이터 기반 재료, 고객, 공급 업체, 조직, 계정.
- 자료 품질 baseline• 양적 지표 (완전성, 독특성, 일관성, 타임라인, 정확도) 데이터 품질을 정의, 기존 데이터의 전체 품질 검사, 가장 중요한 품질 패널의 식별 및 지배 계획의 개발.
2. Dataset 형성과 stratification 모델링
데이터 매체를 구축하는 기술 골격은 데이터 자산이 명확하다 후 설정됩니다:
- 데이터셋 레이어 (ODS): CCDC(change data Capture), ETL/ELT conduit 및 API을 통해 실시간 데이터 매체에 비즈니스 시스템에서 원래 데이터를 동기화합니다. 전체 원료 데이터 패턴을 유지하고 처리되지 않고 데이터 추적성을 보장합니다.
- 데이터 저장소 수준 (DW): Kimball 치수 모델링 또는 DataVault 방법론을 사용하여 깨끗한, 표준화, 링크 원료 및 분석적으로 지향하는 주제 도메인 모델 - 판매 테마, 조달 주제, 재고 주제, 금융 주제, 인적 주제, 기타. 이 층은 "가 신뢰할 수있는 데이터의 단일 소스"입니다.
- 데이터셋 (DM): 특정 비즈니스 시나리오 (관리 조종석, 판매 깔때기 분석, 공급망 성능 분석, 고객 이미지), 전 집단의 넓은 시트 및 지표보기를 구성하고, 최소 SQL 복잡성에 필요한 분석을 얻기 위해 비즈니스 파티를 허용.
- 표시 교정 관리: 기업 지표의 사전 작성 – 각 지표 (예 : GMV, Māori, 주식 회전율 일, 고객 유지율)에는 단일 이름, 교정, 데이터 소스 및 책임있는 사람이 있습니다. 어떤 진술에 인용될 때 인덱스는 지표의 사전에서 가져온 것입니다. "특정 번호"의 문제를 제거하십시오.
3. 자기조명 분석 및 데이터 서비스
데이터 센터의 가치는 궁극적으로 "이 필요한 사람들에게 접근 할 수있는 데이터를 만듭니다":
- 셀프 도우미 BI 플랫폼: 연산자는 드래그 앤트럭링 BI 도구 (예 : Metabase, Superset 또는 Power BI)에 의해 데이터셋 시정 수준에 직접 연결되며 SQL을 작성하지 않고 자체 제작 된 보고서 및 패널을 만듭니다. IT 팀은 "data Picker"에서 "data platform 캐리어"로 전환했습니다.
- 자료 API 서비스: REST API을 통해 중간 채널의 데이터 자산의 외부 노출은 프런트 엔드 응용, 모바일 엔드 및 작은 프로그램 소비. 예를 들어, CRM 시스템은 실시간 고객 360 이미지 데이터를 검색 할 수 있으므로 로컬로 만료 될 수있는 고객의 사본을 유지.
- 데이터 혈액 및 충격 분석: 소스 테이블에서 각 보고서의 끝에 전체 데이터 흐름 경로 (블로들린)을 기록합니다. 테이블의 필드가 업스트림을 변경할 때, 모든 다운스트림 의존 당사자는 자동으로 알 수 있으며, "그것을 사용하는 것을 아는 사람없이 상류 여행을 피"
핵심 기술적인 성분
| 제품정보 | 이름 * |
|---|---|
| Data Set 엔진 | Apache SeaTunnel / Flink CCDC에 기반한 저코드 데이터 도관은 자동 Schema 지도 및 특이한 데이터 캡처를 포함한 50 + 데이터 소스의 일괄 동기화를 지원하는 50 + 데이터 소스를 지원합니다. |
| 데이터 레이크/Silo 저장 | 데이터 호수베이스로 MinIO / HDFS, StarRocks / Clickhouse as ORAP 엔진, PostgreSQL 메타데이터 및 지표 사전 관리, 쿼리 성능으로 스토리지 비용을 균형 |
| Data 품질 엔진 | 구성 품질 규칙 엔진 (비 면제, 독특한 검증, 도메인 유효성 검사, 크로스 테이블 일관성 비율), 시간 - 스칸과 품질 보고서 생성, 이상 데이터는 자동으로 데이터 소유자에 밀어 |
| 표시 관리 플랫폼 | 비주얼화된 지표 사전 관리, 지표 혈액 추적, 지표 API 자동 생성 및 지표 수명 주기 관리 (최고 선 변화 선의 증가) |
| 데이터 보안 및 액세스 | Level-authority control, 동적 데이터 감축 (cell Phone Number, ID Card, Bank Card number), 데이터 보안법 준수 요구 사항을 충족하기 위해 운영 감사 로그 |
제품 정보
| Phase | Delivery | 주요 요소 |
|---|---|---|
| 데이터 자산 수 | Data Asset Catalog + 품질 평가 보고서 | 글로벌 데이터 시트 목록, 필드 혈액, 데이터 품질 평가, 마스터 데이터 관리 프로그램 및 우선화 |
| 플랫폼 빌딩 | Data Medium 기술 플랫폼 | 데이터 세트 형성 도관, 사일로 스트렌딩 모델, ORAP 엔진, BI 도구 통합 및 데이터 API 게이트웨이의 전체 배포 |
| 데이터 제품 | Management cockpit + 자기 도움말 분석 플랫폼 | 핵심 사업 지시자 널, 사업 주제 자료 세트 도시, 자조 BI 보고 템플렛 및 지시자 dictionary |
| 작동 메커니즘 | 데이터 관리 운영 규범 | Master data maintenance SOP, 데이터 품질 모니터링 규칙, 지표 관리 프로세스 및 교육 자료 |
의 값 방향
- 1개의 수, 1개의 구경.핵심 기업 성과 지시자의 정의, 근원 및 계산 논리는 중앙 단계에서 중앙으로 관리되고, 관리가 어떤 보고든지에 보고를 보고 어떤 스크린든지에 파생된다는 것을 숫자는 동일 자료에서 파생됩니다.
- "T+7"에서 "T+0"으로: 비즈니스 데이터 업데이트 사이클은 일주일/월에서 시간 또는 분으로 수동으로 통합되어 동기화 및 의사 결정자는 문제 일의 데이터 신호에 대해보고 응답 할 수 있습니다.
- IT 생산성 향상: 운영은 자체 help BI에 의해 일일 소요 시간의 80 %를 달성하고 IT 팀은 건축 데이터 플랫폼에 중점을두고 데이터 품질을 개선하기 때문에 작업 주문의 수를 가져갈 피곤합니다.
- AI의 데이터베이스를 설정합니다.: 고품질, 잘 관리 된 비즈니스 데이터는 AI 구현을위한 사전 요구 사항입니다. 데이터 매체가 완료되면 AI의 RAG 지식베이스 빌드 및 모델 교육은 AI 프로젝트를위한 리드 업 사이클을 크게 감소, 데이터를 깨끗하게 데이터 소스에 연결할 수 있습니다.
📎 더 알고:
- Enterprise Data Platform 솔루션 - 데이터 설정에서 셀프 help 분석까지 원스톱 데이터 매체
- 기업정보 - 통합정보시스템 기획 및 Improgramming
- 무료 상담 — 데이터 관리에 ZhiHua Tech 팀과의 통신
기업의 현재 상태의 상황에 더 분석이 필요합니까?
우리는 IT 기술적인 통보, 기업 정보 건축, 소프트웨어 프로젝트 전망, FDE 기업 AI 신청 및 소프트웨어 제품 디자인 및 납품 서비스를 제공합니다.