• 1. 寿险行业 数据架构规划与数据治理
    • 2. 4目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 3. 5数据架构 - 定位企业总体规划企业战略IT 架构业务战略IT 战略业务架构企业架构应用架构数据架构技术架构数据治理业务架构数据架构应用架构分析业务功能结 合技术架构特 点、 技 术 要 求IT总体架构需考虑数据架构对当前业务支持,理想规划顺序为数据驱动!以及时的方式,获取、处理和使用数据来创造效益,不断地迭代开发新产品,借助数据探索引领企业发展(Navigating)。 判断是否为数据驱动的标准: (1)产生的数据量 (2)使用数据的程度 (3)内化数据的过程及深度定义
    • 4. 6数据架构 - 设计目标 数据架构是IT架构的重要组成部分,用来解决“如何管理数据”和“如何使用数据”的问题。
    • 5. 7数据架构 - 设计原则总体原则 在基于问题现状、改进分析的基础上,结合业务需求要点、主流技术及行业实践,进行目标的数据 架构规划。
    • 6. 8数据架构 - 设计思路系统需求分析 业务特征分析数据分类* 划分主题域*业务模型设计 数据模型设计数据架构规划金融业(银行、保险) 主流技术: ETL、ODS、EDW、MPP、BI、BigData数据 流转数据分布数据加工参考主流技术、结合行业实践数据存储领域驱动设计(DDD)
    • 7. 9目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 8. 10数据架构 - 高效数据操作标准SQL操作数据加载数据查询数据更新数据持久化缓冲区数据库 1数据库 N……数据集成层(DI) Powered by DEVELA 高效、透明、可独立部署 降低开发难度,提升开发效率 解决重复查询导致的性能问题高速缓存 Powered by CACHE 存放访问频率很高、但数据量较 少的数据。如:码表、用户机构权 限、费率相关。读写分离数据集成操作(Data Integration)业务服务对象 Business Object
    • 9. 11目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 10. 12数据架构 - 规划设计数据源区保单管理 新契约 保全 续期 理赔运营支撑域 个险核心/团险核心 收付费 产品工厂 统一核保 销售管理 单证管理渠道接入域 内部渠道 移动展业 微信平台 电子商务 农银官网 外部渠道 中介平台 银保通 邮保通其他来源 政府监管 金融同业 互联网 第三方机构数据交换区(数据交换平台 - DEP)再保 反洗钱稽核 准备金数据应用区(数据消费)决策分析域 监管报送数据存储区查询库 (Read DB)操作型数据存储 ODS数据准备区(预处理)主数据管理数据仓库决策 支持即席 查询绩效评估标准 报表多维 OLAP 风险 预警主题集市1主题集市2主题集市N...数据集成操作区(开发平台 - DEVELA) 业务对象 数据加载 数据查询 数据更新 标准SQL操作 数据缓冲 数据持久化数据ETL 作业调度数据同步 监控管理数据分发 数据服务产品套餐险种 新核心码表客户信息 用户机构权限客户信息系统产品工厂统一用户管理系统设计平台数据管理区(设计平台 - PLANA) 业务模型管理 数据模型管理 数据加工区(数据加工)元数据管理码表管理OGG数据字典管理高管 驾驶舱MIS半结构化/非结构化 内容管理平台 (ECM)结构化 生产数据库 (Write DB)参考TeraData FS-LDM
    • 11. 13目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 12. 14数据架构 - 数据源金融机构(银行、保险同业)政府部门、监管机构第三方机构(电商、互联网公司)外部数据农银人寿核心业务系统(运营支撑) 个险核心/团险核心 (保单、契约、保全、理赔、续期) 收付费、销管、单证、统一核保 产品工厂...... 农银人寿核心业务系统(渠道接入) 内部渠道 移动展业、微信平台、农银官网、电子商务 外部渠道 中介平台、银保通、邮保通内部数据互联网数据源 - 非功能属性(对数据存储设计起参考作用!) 数据源 获取方式(接口 or 文件交换;全量 or 增量) 变动频率(极少、偶尔、固定周期)、变动形式(新增、更新) 数据格式(结构化、半结构化、非结构化) 数据量及变动量 共享程度:根据业务模块对数据的需求强度
    • 13. 15数据架构 - ODS、内容管理平台(ECM)半结构化/非结构化数据 (语音、影像、文件、扫描件)ECM数据交换平台数据源ODS 结构化数据临时缓冲区加载区关联校验源数据增量层标准增量层基础数据层共性加工层数据准备区︵预处理︶数据存储区操作型数据存储(Operational Data Storage)面向主题的、集成的、反映当前细节变化的数据集合 贴源设计 整合业务数据全貌,提供跨系统的、细节查询 数据清洗及标准化,提升数据质量 EDW主要数据源
    • 14. 16数据架构 - 数据仓库与集市(规划)复杂报表 决策支持 风控 驾驶舱 KPI绩效聚合宽表数据汇总属性拼接逻辑加工数据视图数据衍生数 据 仓 库参与方产品渠道合约财务机构事件活动数据模型......... ...参考 TeraData FS-LDM 分主题构建数据模型EDW:面向主题的、集成的、稳定的、分析型的、不可更新的、非实时的、反应一定历史时期内的数据集合。EDW - Transform in ETL 数据不一致的转换 数据粒度的转换 计算指标的转换 转换的具体实现 业务数据按照EDW粒度进行聚合 多个SQL语句表示复杂转换规则 数据集市字段与业务系统字段关联映射 (转换函数及参数)EDW - 数据源(Data Source) 从OLTP DB中捕捉业务变化数据 清洗、标准化、统一编码(确保数据一致性、消除冗余) 数据整合(计算、汇总、集成、形成指标体系) 重点关注:数据类型、更新方式、更新频率、更新数据量、数 据质量、抽取范围、每次抽取量、消费系统的实时性要求。EDW - 设计要点(Points) 数据源(数据采集) 数据模型(存储结构) ETL过程(设计关键) 元数据管理(BI中尤为重要) 技术手段(数据挖掘、知识发现、多维分析) 数据应用(复杂查询及报表、绩效评估、高管驾驶舱)
    • 15. 17数据架构 - 数据仓库(规划) EDW建设阶段 一、规划分析阶段 从用户角度进行需求分析(决策分析的内容和功能) 构建概念模型(参考模型,划分主题,确定实体粒度和层级) 从技术角度分析(主题需要哪些业务数据源支持、ETL工具选取) 二、设计实现 数据源选取、模型设计、元数据设计、ETL设计、数据清洗、统一编码、填充测试数据、 数据应用 三、运维阶段 定期备份与恢复 归档(离线存储) 性能监控(数据备份与恢复时间、ETL时间、报表生成时间) EDW建设过程 项目规划 需求分析 概念模型设计 逻辑模型设计 数据架构设计 元数据设计 物理模型设计 ETL设计 填充测试数据 开发及实施 性能监控与优化 运维交付
    • 16. 18数据架构 - 数据交换平台(DEP)元数据管理 (Meta Data)数据交换平台 (Data Exchange Platform)ETL转换过程(计算、汇总、字段拆分/合并、比较、过滤、混合运算、函数、去重)主数据管理 (MDM)元数据定义数据编码数据类型长度/精度业务规则技术规则取值范围抽取/加载订阅/发布 清洗/转换规则校验作业调度质量检查规则定义数据管控主数据管理系统 (CIF、UM、PF、PLANA)可配置化约束条件建设目标 提供统一的数据集成规范、数据获取与分发、数据交换与共享、数据监控。 提高数据加工、数据流转效率,加快数据在系统内、系统间的快速移动。 改变传统的“多对多交换模式”,实现“一源多目标”的数据更新。 问题现状 数据集成、数据同步、数据共享困难 (核心内各子系统之间、核心与外围系统之间) 系统耦合度较高(A系统数据结构发生变化,需要B系统协同改造) dblink使用泛滥(性能开销大、存在数据安全隐患)
    • 17. 19数据架构 - 数据交换平台(DEP)合作商DMZ区互联网DMZ区非核心生产网核心生产网交换前置中间表 文本 XML 非结构化 文件银保通信保通中介邮保通官网电商移动展业其他个险核心团险核心销售管理其他交换前置MIS再保其他数据交换平台全量抽取增量抽取数据清洗数据转换质量检查批量装载按事务 顺序装载文件备份文件获取文件推送交换前置中间表 文本 XML 非结构化 文件中间表 文本 XML 非结构化 文件基于内存的处理设计要点 增量数据捕获:包括新增、更新;判断依据(时间戳、日志分析) 细化调度作业:分清任务依赖关系,增大并行度,提高交换效率DEP功能定位 - 数据交换枢纽 通过一定的“数据获取及分发”策略、 作业调度策略,结合内置于各系统 内的数据交换区,实现: (1)核心业务系统内各子系统 (2)核心业务系统与外围各系统 之间的数据交换、数据同步、数据 共享,为OLTP、OLAP系统提供数 据接口服务或数据文件交换服务。各系统配合DEP 内置数据或文件交换区,提供中间接口表(源数据供应表、消 费数据获取表)、格式化文件等。
    • 18. 20目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 19. 数据治理 - 概述关于如何制定、实施针对整个企业内部数据 的商业应用和技术管理的一系列政策和程序。 一套持续改善的管理机制,通常包括数据架 构组织、数据模型、政策及体系制定、技术工 具、数据标准、数据质量、影响度分析、作业 流程、监督及考核等。数 据 治 理元 数 据 管 理描述数据的数据 比一般意义上的数据范畴更加广泛 在分析型项目中,帮助数据仓库设计和开发 人员快速查找数据 在OLAP系统中,用来描述分析型应用的内 部数据结构、建立方法和流程建立数据应用标准 消除不一致性,实现数据广泛共享 提升组织的数据质量 将数据资产应用到业务、管理和战略决策 发挥数据资产的商业价值数 据 治 理 作 用作为一种语义工具,为数据治理建立一套资料 库,存储:数据定义、负责人、来源、转换关 系、目标、质量等级、依赖关系、安全权限等。 对于实现商业整合、数据质量提升、可审计性 等数据治理目标至关重要。元 数 据 管 理 作 用MetaData (Data about Data) 数据名称、数据类型、数据归属、取值范 围、校验规则、数据源数据治理框架 - Data Governance Framework数 据 治 理管理原则 (Principle)管理流程 (Process)管理组织 (Organization)管理工具 (Tools)方法论 (Method)*MetaM:根据业务规则变化,识别系统需要改变的部分,评估改变部分对 其他系统或系统其他部分产生的影响,确保数据一致性,实现数据可追溯
    • 20. 22数据现状数据现状 不符合业务或技术规则 键值重复、属性重复 数据格式错误 无效数据 多套重复编码*,码表取值范围不统一 命名规则不统一* 数据类型不统一*(类型、长度/精度/小数位) 数据列冗余,难以找寻基准数据,一致性难以 维护 大量废弃不用的表*、空值字段引发问题 影响数据一致性 影响数据完整性 影响数据准确性 系统间数据交换共享困难 重复统计造成误差 数据迁移困难 开发运维效率低 数据库性能降低信息技术 vs. 数据质量 信息技术可以帮助企业决策,快速适应业务变化和市场需要; 但数据质量低下,将导致决策延迟或决策错误,使企业错过商机或造成损失;数据治理目标 数据管理原则 数据规范标准 数据管理流程 数据管理组织 老核心数据治理与标准化 新核心应用数据治理与标准 化成果,进行数据质量管控, 实现数据广泛共享,发挥数据 资产价值。GoalTroubleSituation
    • 21. 元数据管理 (标准字段、抽取原则、技术工具)新核心 数据治理与标准化应用 (模型设计、数据字典、码表整合)老核心 数据治理与标准化 (术语、分词及同义词、域、码表)数据质量管理 (数据标准、业务规则、流程、工具)数据交换与集成 (ODS、数据交换平台)监控与报告 (审计、稽核、监管报送)大数据与商业智能 (数据挖掘、机器学习)数据治理第一阶段第二阶段第三阶段主数据管理 (数据类型、特征识别、分发策略)数据仓库 (数据集市、数据平台、数据应用)数据治理 - 分阶段实施、当前进展
    • 22. 24目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 23. 标准字段(Standard Field) 属“元数据管理”范畴,是仅包含最本质业务含义的信息项。它规定了新核心业务系统中,数据项的中英文 名称、业务含义、所属应用模块、数据类型(长度/精度/小数位)、数据格式、校验规则(技术规则及基本业 务规则)、默认值、取值范围(码表项)等属性特征。 识别方法 遵照《新核心业务系统 - 标准字段抽取规范》执行。 管理工具 由新核心设计平台(PLANA)对标准字段进行统一维护。 使用方式 数据字段(表字段)继承自“标准字段”,并根据被引用数据表的业务场景进行扩展。 举例 “投保人号”、“被保人号”,本质为“客户号”。在设计表字段时,它们都将从标准字段(客户号)继承,具有与 标准字段相同的数据类型(长度/精度)、数据格式、校验规则、默认值。数据治理 - 元数据管理
    • 24. 26数据治理 - 元数据管理 - 标准化(术语、分词)源系统 数据字段名称保险合同号保单号保单号码保单合同号标准化 基础词汇 (中文)标准化 基础词汇 (英文)标准化 基础词汇 (英文缩写)标准化 同义词保单POLICYPOL保险合同、保单合同号码NUMBERNO号标准化 数据字段 (中文名称)标准化 数据字段 (英文名称)保单号POLNO源系统信息采集
    • 25. 27目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 26. 28数据治理 - 主数据管理个险系统主数据管理 (MDM)用户管理 UM客户信息 CIF设计平台 产品工厂 PLANA PF个险 数据客户 用户信息 机构 权限码表产品 套餐 险种个险核心团险系统团险 数据客户 信息用户 机构 权限码表产品 套餐 险种团险核心再保客户 信息再保 用户 数据 机构 权限码表产品 套餐 险种再保重点关注 1、识别主数据 - 源生产系统(获取最准确主数据) 2、识别主数据 - 目标消费系统 3、主数据 - 清洗策略(数据校验规则、清洗规则) 4、主数据管理原则、分发同步策略(MDM系统订阅/发布功能结合DEP实现)
    • 27. 29数据治理 - 主数据管理存量数据 增量数据实时增 量数据校 验 规 则清 洗 规 则识 别 规 则MDM 客户数据 疑似客户列表是否 通过是否 通过错误 信息例外数据否否数据 处理数据 处理丢弃是否老 客户否:新建客户 是:更新客户存疑:新建客 户并记录疑似 列表等待业务 确认客户信息数据的获取、校验、 清洗、分发 IT 数据质量检验和报表业务部门根据报表绩效考核,加强制度管理,弥补漏洞,优化现有流程… …报文格式校验 标准代码校验 数据元素校验数据元素清洗客户识别 疑似管理 合并拆分当客户信息发生变化时,通常只有一个渠道可以直接获 取该项信息变化,而其它业务系统仍在使用旧有数据。客户信息 - 主数据管理(CIF MDM) (1)渠道发生客户信息变更 MDM捕获数据项变化 MDM将变化的客户信息发布至相关主题 (4)各消费系统订阅主题,获取最新数据并更新到 本地(CIF MDM订阅/发布)
    • 28. 30数据治理 - 主数据管理(规则校验、质量管控) 清洗效果有限 局限于数据格式的清洗,对文 本的具体内容无能为力。 校验规则只能作为事后清洗和 弥补的手段。 不如从源头上获取高质量数据 数据质量提升 不仅仅是技术层面的事情 更需要业务部门加强监管,实 行“数据质量与外包录入”的绩效 挂钩!
    • 29. 31目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 30. 32数据治理与标准化应用 - 新核心模型设计 - 业务建模1..11..*1..11..*1..11..10..*1..11..1单证号段信息起始号 终止号 发放机构 接收机构 数量 经办人 经办日期 失效日期 回收清单号 销售渠道 状态标志单 证 编 码 : String 内部单证编码 : String: String : String : String : String : int : String : Date : Date : String : String : String1..* - 操作类型标志 : String交 费 标 志 : String 到 账 标 志 : String 反发放原因 : String 状态 : String 渠道 : String 代理人 : String 管 理 机 构 : String 操作员 : String单证轨迹起始号 终止号 发放机构 接收机构 数量 经办人 经办日期 失效日期状态 渠道 代理人 管理机构 操作员单 证 编 码 : String 内部单证编码 : String: String : String : String : String : int : String : Date : Date回收清单号 : String 销 售 渠 道 : String 状 态 标 志 : String 操作类型标志 : String 交 费 标 志 : String 到 账 标 志 : String 反发放原因 : String: String : String : String : String : String单证明细接收日期 核销期限 业务号 销售状态 序列号 失效日期 状态标志 核销日期 回退日期 结算日期 操作员 结算标志 管理机构 部门号单 证 编 码 : String 单证号 : String 内部单证编码 : String 起始号 : String 终止号 : String 代理人编号 : String: Date : String : String : String : String : Date : String : Date : Date : Date : String : String : String : String单证入库单证定义 : 单证定义 单证状态 : 单证号段信息 单证轨迹 : 单证轨迹 单证轨明细 : 单证明细 单证入库状态 : 单证入库状态+ 获取单证信息 (String 客户经理编码, String 单证编码) + 入库操作 ()单证发放+ 发送单证 (String 单证编码, String 起始号, : voi String 终止号)单证回退单证状态 : 单证号段信息 单证明细 : 单证明细 单证轨迹 : 单证轨迹+ 单证回退 (String 单证编码, String 起始号, : void String 终止号)激活卡售出登记+ 售出登记 (String 单证编码, String 单证号) : void激活卡超期处理判断超期 (String 单证编码, String 单证号) : boolean 置超期标志 (String 单证编码, String 单证号) : void + 超期处理 (String 单证编码, String 单证号) : void单证套餐关联套餐编码 : String 单证编码 : String+ 单证套餐关联修改 (String 关联编码) + 单证套餐关联删除 (String 关联编码)- 单证套餐关联 (String 单证编码, String 套餐编码) : void: void : void产品产品编码 产品名称 产品类型 管理机构 开始时间 结束时间状态 备注: String : String : String : String : Date : Date- 是否单独销售 : String: String : String单证核销单证状态 : 单证号段信息 单证明细 : 单证明细 单证轨迹 : 单证轨迹+ 单证回退 (String 单证编码, String 单证码) : void单证明细轨迹接收日期 核销期限 业务号 销售状态 序列号- 失效日期1..* - 状 态 标 志核销日期 回退日期 结算日期 操作员 结算标志 管理机构流水号 : String 单 证 编 码 : String 单证号 : String 内部单证编码 : String 起始号 : String 终止号 : String 代理人编号 : String: Date : String : String : String : String : Date : String : Date : Date : Date : String : String : String- 部 门号 : String单证回收单证状态 : 单证号段信息 单证明细 : 单证明细 单证轨迹 : 单证轨迹+ 单证回收 (String 单证编码, String 起始号, : boole String 终止号)单证定义计划类型 单位 单证价格 销售价格 重要级别单 证 编 码 : String 单 证 名 称 : String 内部单证编码 : String 业 务 类 型 : int 业务单证类型 : String: String : String : double : double : String是否有号单证 : String 是否有价单证 : String 是否回收标记 : String 是否需要录单 : String 单证号码长度 : int 卡 单 标 志 : String 是 否 激 活 : String WriteOffFlag : String 核 销 期 限 : String 状态 : String 注释 : String 管 理 机 构 : String 操作员 : String单证产品关联- 状态关 联 编 码 : String 产 品 编 码 : String 单 证 编 码 : String 结 算 类 型 : String0..* - 有效起始日期 : Date- 有效终止日期 : Date: String单证-产品关联产品单证定义单证入库单证 - 单证状态 : 单证号段信息 单证明细 : 单证轨迹 单证轨迹 : 单证明细 发放单证 回退单证 回收单证套餐关联单证核销激活卡售出登记激活卡超期处理单证号段信息单证 轨迹单证明细单证明细轨迹单证入库- 单证定义: 单证定义- 单证状态: 单证号段信息- 单证轨迹: 单证轨迹- 单证轨明细: 单证明细- 单证入库状态: 单证入库状态+ 获取单证信息 + 入库操作 ()(String 客户经理编码,String单证编码)单证定义- 单证编码:String- 单证名称:String- 内部单证编码:String- 业务类型:int- 业务单证类型:String- 计划类型:String- 单 位:String- 单证价格:double- 销售价格:double- 重要级别:String- 是否有号单证:String- 是否有价单证:String- 是否回收标记:String- 是否需要录单:String- 单证号码长度:int- 卡单标志:String- 是否激活:String- WriteOffFlag:String- 核销期限:String- 状 态:String- 注 释:String- 管理机构:String- 操作员:String业务操作类对象业务实体类对象Tips:在端到端的流程分析和业务用例分析过程中会衍生出数据对象。Transform 业务模型 into 数据模型 ER模型分析方法(面向结构) 对象类模型分析方法(面向对象)-单 证 系 统 业 务 模 型
    • 31. 数据治理与标准化应用 - 新核心模型设计 - 业务数据样例 渠道接入平台 - 业务数据样例(Business Data Sample Case)
    • 32. 34目录•1数据架构 - 定位、设计目标、设计原则、设计思路•2数据架构 - 高效数据操作•3数据架构 - 规划设计•4数据架构 - 数据源、数据的准备、存储、加工、交换•5数据治理 - 概述、数据现状、分阶段实施与当前进展•6数据治理 - 元数据管理•7数据治理 - 主数据管理•8数据治理与标准化应用 - 业务建模、数据建模、数据样例•9数据治理与标准化 - 成果展示
    • 33. 数据治理与标准化 - 成果展示(1/7)老核心数据治理数据模型整理 - 老数据字典 【数据表】 表中文名、所属模块、表类型、 活跃度、典型使用场景、表间关 系(ER图)。 【数据字段】 字段含义、标准化名称、数据类 型(长度/精度)、码表取值、技 术规则、业务规则、使用该字段 的表、字段来源。配合新核心建设,整理现有数 据对象及资源 为系统设计、业务建模、数据 建模提供标准化素材和参考 为数据迁移提供依据
    • 34. 《新核心标准化字典 - 基础词汇》的应用(一)数据治理与标准化 - 成果展示(2/7)分词标准化实践*(1人做全程+工具支持) 分词(术语拆分的断点、粒度) 汉译英(英文选取、中英文同义词处理) 多个中(英)词汇对应同一英(中)词汇 的处理 副词、介词、数量词的提取及表示* 全称 vs. 缩写、缩写程度* 单体词 vs. 复合词* 对象名称超长的截短处理 对象名称的标准化审核分词结果取决于分词人的: 业务知识 词汇量 工作经验 教育背景 常识 个人习惯
    • 35. 数据治理与标准化 - 成果展示(3/7)《新核心标准化字典 - 基础词汇》 的广泛应用 数据库对象(表、字段、主外键、 序列、同义词、索引等) 新核心码表项名称 子系统 - 原子服务名称 子系统 - 重要内容编码 新核心项目名称《新核心标准化字典 - 基础词汇》的应用(二)
    • 36. 新核心业务系统 - 码表 - 公共代码集、私有代码集(业务层面整合)数据治理与标准化 - 成果展示(4/7)公共编码 通用性较强,参考“国家标准”、“行业标准”、 “保险业务代码集”,编入《新核心-通用编码 集》。 (如:证件类型、性别、婚姻状况、行业) 私有编码 业务性较强,虽沿用现有码表,但需规范化 整合,编入《新核心-私有编码集》。 (如:销售方式、保单类型、保单状态) 规范化整合及标准化 沿用准确项,标准化名称 剔除明显垃圾项 替换、扩充取值范围 合并同类项,消除冗余
    • 37. 数据治理与标准化 - 成果展示(5/7)码表准入原则 编码项命名规范 码表数据结构 编码项归属域划分 编码项取值编码原则 码表分发策略 公司内外码转换原则新核心业务系统 - 数据码表规范 —— 准入标准、命名规范、取值编码原则、码表结构、分发策略 新核心码表全集 (设计平台)业务系统 1业务系统 2业务系统 3数据码表 - 整合与标准化 屏显、出单打印的信息更加准确 农银内部、新核心各子系统之间无需 转码 便于开发运维人员理解数据交换平台
    • 38. 总体设计原则 按需设计、规范、完整、高内聚、低耦合、安全 逻辑对象设计 数据库对象命名 物理结构设计 参数配置、数据块、数据文件、连接数、游标、优化模式 数据库安全 用户管理、角色及权限、应用级设计、密码管理 数据库优化 SQL优化、反规范化设计、并行查询 数据生命期管理 数据分类、数据迁移、数据归档、数据分层存储 数据库使用数据治理与标准化 - 成果展示(6/7)设计目标、设计输入、技术工具 数据模型-设计模式 主扩展模式、主从模式、名值模式、多对多模式、继承模式、自 联结模式、单表模式 数据模型-设计过程 需求分析、业务模型分析、确认核心实体、确认实体属性、范式 化设计、逻辑设计评审、模型转化、表设计、反范式设计、物理设计 评审 典型场景-模型设计 审批类、多对多、业务日志类、操作日志类、实体状态分离、历 史数据存储、参数类、账户类、删除操作、日期时间、货币金额、联 系信息、树形关系、接口表
    • 39. 数据治理与标准化 - 成果展示(7/7)主数据概念 定义、特征、范围、识别分析主数据管理 定义、体系规划、方法论、现状调研、需求分析、技术工具必要性及意义 关键技术 数据标准、分类编码、SOA架构、数据仓库主数据生命期管理 数据模型、业务管理、数据清洗、质量管理、安全管理主数据应用 业务系统集成、主数据管理与数据挖掘、主数据管理与大数据方案概述 基本原则、实施策略、基本步骤、技术工具、若干阶段、相关方职责准备工作 迁移范围确定(迁移范围、不迁移范围)、数据模型分析(源数据模型 分析、新数据模型分析、综合分析实施步骤 任务列表、环境准备、源数据清洗、数据检查及异常处理、数据映射转 换、数据迁移、数据核对关键点控制 时间窗口、映射正确性检验、迁移演练应急处理 风险控制、系统回退、版本管理等
    • 40. 数据治理 - 总结与展望数据治理是一项长远的工作, 我们任重而道远!技术层面 数据质量持续提升(准确性、一致性、完整性) 数据生命期更加清晰(数据产生及变迁的追溯) 系统运行更加平稳、顺畅业务层面 数据资源转变为战略资产 减少运营成本,降低经营风险 支持业务运营、高层决策 增强可审计性、安全合规性 发挥数据价值,增加企业利润
    • 41. 2公司简介农银人寿保险股份有限公司(简称“农银人寿”)是中国农业银行的控股子公司,依托农业 银行雄厚的资金实力、庞大的经营网络、完善的金融服务、卓越的社会信誉,为客户提供高品质 的保险保障和财富规划服务。ABC Life Insurance Co., Ltd An Insurance Company of Agricultural Bank of China国内机构布局最广的银行系寿险公司,拥有20多家分公司和300多家分支机构; 继中国农业银行控股农银汇理、农银租赁、农银国际后的又一股权投资力作; 国有五大商业银行全部拥有自己保险公司的收官之作;健 康 重 疾 意 外 年 金 养 老
    • 42. 3组织架构 - 数据架构组(人员、工作职责)组内人力:11人,约占项目总人力 10% 子项目数:8*个 工作职责 1、数据架构规划与设计 2、数据治理与标准化方案的制定及实施 3、老核心数据模型整理、数据治理与标准化 4、新核心模型设计与标准化应用 5、数据标准规范、数据管理流程的制定与督导 6、核心业务系统数据迁移方案的制定与实施序号角色人数1组长(负责人)1人2业务模型设计2 人3数据模型设计、数据迁移7 人4老核心模型整理1 人技术实施组技术架构数据架构质量控制业务需求组监理咨询组新核心项目领导小组执行小组应用开发系统测试 集成上线 系统设计子项目管理 应用架构