XX电信业商业智能解决方案
- 1. IBM电信业商业智能解决方案IBM公司软件部 林南晖 Tel:010-65391188 ext 3909 Email: linnh@cn.ibm.com
- 2. 议程数据分析与决策支持系统面临的挑战 IBM 商业智能解决方案简介 IBM 方案优势
- 3. 电信企业的需要帐务统计 收益分析 网络、基站运维分析 绩效考核 客户关系管理 风险预测 市场竞争分析 ......
- 4. 帐务统计、分析日、月统计报表 月结算报表 营业收入统计、分析 资费来源统计、分析 业务量统计、分析 ......
- 5. 收益情况分析收入总量分析及预测 收入增量分析及预测 ARPU分析及预测 收入结构分析及预测 大客户收入情况分析及预测 客户交费情况分析及预测 客户欠费情况及其结构分析及预测 新增客户交/欠费情况分析及预测 欠费回收情况分析 高额/欺诈分析 销账分析
- 6. 市场竞争分析市场占有率分析及预测 市场需求分析及预测 竞争对手发展情况分析及预测 各竞争对手的市场营销分析 供应商市场行为特征分析 合作商市场行为特性分析
- 7. 业务发展分析业务量发展分析及预测 业务增量分析及预测 MOU分析及预测 新业务使用量分析及预测 业务资源使用特征分析及预测 大客户使用业务量的特征分析及预测 大客户使用业务的特征分析及预测 流量和流向特征分析及预测
- 8. 客户分析客户总量分析及预测 新增客户分析及预测 客户净增量分析及预测 客户流失量分析及预测 客户转网量分析及预测 大客户发展分析及预测 客户消费能力分析及预测 客户消费习惯/爱好分析及预测客户信用度分析 外来用户分析 模拟用户分析 储值卡用户分析 潜在用户分析 零次用户分析 一户多卡用户分析
- 9. 客户关系管理及市场策略发现优秀客户 发现易流失客户群 调整产品定价 发现客户行为模式 开发新产品 交叉销售 ......
- 10. 网络、基站分析基站配置与话务量分布情况分析 分析各时段各基站/交换机的负载情况 网络收益分析 网络容量分析 网络安全分析 热点小区分析 路由分析等
- 11. 服务质量分析客户服务质量分析 客户服务时限分析 客户咨询 查询焦点分析 客户投诉焦点分析 大客户服务质量分析 客户满意度分析 客户忠诚度分析
- 12. 营销管理分析市场价格分析 营销渠道作用分析 代销代办酬金分析 营销人员素质分析 营销宣传市场效果分析 促销行为市场效果分析
- 13. 综合决策分析决策取向模拟分析 决策行为市场操作模拟分析 决策行为市场效果模拟分析
- 14. 绩效考核分公司绩效考核 营业部绩效考核 营业员绩效考核 ......
- 15. 当前状态计费系统网管系统财务系统营业系统结算报表CRM局长信息系统
- 16. 挑战：信息孤岛财务系统市场促销数据客户数据营业数据呼叫中心数据
- 17. 建立数据仓库、实施商业智能生产系统数据仓库OLAP智能挖掘
- 18. 如何实施商业智能分析的复杂度和价值统计多维数据挖掘优化阶段 1 阶段 2 阶段 3 阶段 4 阶段 5分析的阶段数据集市 数据仓库发现验证
- 19. IBM BI 解决方案产品业务系统1业务系统2业务系统3业务系统n……数据仓库管理器/数据库 Warehouse Manager/DB2 UDBDB2 OLAP Server报表工具 QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它应用
- 20. IBM BI体系结构DB2 UDBDB2 UDBDB2 Warehouse Manager 数据仓库管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control Center OLAP Server App Manager OLAP Server Analysis Server客户端工具 支持WEB决策支持工具和应用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS & VSAMFilesData JoinerDB2 Intelligent Miner for Data 数据智能挖掘服务器
- 21. 什么是数据仓库数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。 数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。 数据来自多个数据源，并整合到一个数据库中。 在数据整合的过程中数据要经过聚合、摘要和清洗。
- 22. 不同的数据用于不同的目的面向主题 集成 比较稳定 包含历史数据 支持管理决策面向应用 有限集成 经常更新 仅有当前值 支持日常业务运作业务数据信息数据业务数据和信息数据根本不同！"Trust" Accounts"Checking" Accounts"Loan" Accounts"Loan" Accounts年月日Account History
- 23. 建立数据仓库的过程商业主题业务信息业务数据管理转换工具商业视图元数据成员 映射 商业视图Templates外部数据
- 24. DB2 Data Warehouse体系结构Log Server Kernel Dispatcher SchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelational SourceDB2 TargetDataMessageMessageNon-Rel SourceEnd UsersDataDataDataDataNT/2000, OS/2, AIX, Sun, OS/390, AS/400DDD Log Editions ConfigurationControl DatabaseDB2MetadataMetadataType titleType textFlat FilesData Warehouse CenterMessageNT/2000 NT/2000 AgentNT/2000, AIX, SunIncluded with DB2 UDB
- 25. 数据仓库代理(Agent)技术数据仓库控制服务器(Warehouse Control Server) 时间表启动 从控制数据库中获取商业视图定义 启动代理(通过代理后台进程) 循环 : - 接受和记录结果 - 更新客户端显示数据仓库代理(Agent) 响应VW管理器 循环 : - 接受命令 - 执行命令 - 报告状态
- 26. DB2 UDB高度并行的海量数据库Cluster多个大缓冲区 支持64位内存寻址内存管理单处理器对称多处理 (SMP)Massively Parallel Processor (MPP)增强的SMP并行支持MPP并行支持并行事务CPUSQLCPUSQLCPUSQLCPUSQL并行查询SQLCPUCPUCPUCPU
- 27. SQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -TimeRun - TimeAgentAgentAgentPrefetchersSingle query involves 1 coordinating agent n sub agents m prefetchers (shared) All executing in parallel on available processors Combination of... Data parallelism Each agent works on subset of data Data dynamically assigned so user not required to partition data Functional parallelism ("pipelining") Each agent works on different query function, e.g. scan, sort Also enables Parallel Index Create Parallel Backup and Restore Allows multiple processes to read or write data to/from the database Parallel LOAD Exploitation of multiple processors during load, particularly for parsing/converting/formatting data节点内部并行
- 28. Parallel Edition - style (shared-nothing) Data parallelism through hash partitioning Partitions can be... Physical on MPP or cluster Logical on SMPRun - TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode 0node 1node nSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time节点间并行(数据库分区间并行)
- 29. ................................................................Single Database ViewParallel OptimizerUser QueryNode (CPU)Node (CPU)Node (CPU)Node (CPU)Shared-nothing software architecture supports Independent physical nodes Separate CPU, memory, and disk Including SMP nodes OR Multiple logical database partitions on single large SMP Server Interpartition communication is cross memory, not cross network Data is partitioned across nodes automatically by hashing Everything operates in parallel Select Insert Update DeleteBackup/restore Load Create index Reorg充分利用分区数据库的能力
- 30. Social Insurance NumberNameLocation123-456-789JoeBostonTorontoPartition Key value Hashed to: "8"Vector Position0123456789101112...Node1231231231231...DB2DB2DB2Partition Map Determines 'home' for row Can be adjusted for data skew using the REDISTRIBUTE utilityHash分区和分区映射表
- 31. Blends best of MPP and SMP style of parallelism Ideal for SMP clusters Most flexible hardware support Leading Edge Query Optimizer!Run - Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time分区内及分区间并行
- 32. DB2 UDB: 更大的容量表/视图/列/别名长度增加 名字更容易记忆 更容易移植 SQL语句长度可达64KB 更复杂的查询和分类(如数据挖掘) 由工具自动生成的语句 VARCHAR大小可以达到32KB 更小依赖LONG VARCHAR，节省空间并提高性能 最大表/表空间大小64GB/128GB/256GB/512GB 可以生成更大的表而不需要分区(partition) 索引字段总长度达1024byte 可以对更多/更长的字段加索引
- 33. DB2 UDB: 优化技术优化级别0-9 查询重写 增加隐含的条件 一般条件下压(pushdown) 子查询该为JOIN 消除不必要的JOIN 将量化的条件转化为标量子查询 将OR转为IN 将IN转为JOIN 视图合并 消除不必要的DISTINCT优化器扩展 减少限制 RID列表排序 Index Oring 执行计划分析 避免Cartesian积 增强的JOIN大小估计 非统一的分布式统计 I/O统计 对随机和顺序I/O不同处理 锁优化 可修正的CPU和I/O成本估算 可更新的目录统计
- 34. DB2 UDB与商业智能集成新的统计函数 页面大小：4KB, 8KB, 16KB, 32KB 更小的I/O，减少索引的层次 优化器可以利用多个缓冲池(与页面大小) 更多的利用星型连接优化 利用星型连接设计的数据库性能更好 对数据仓库的增强 数据加载过程中自动建立索引 LOAD TERMINATE/RESTART选项 LOAD时递增的建立索引 利用LOAD INSERT将数据附加到已经存在数据的表中
- 35. 易用的管理工具
- 36. DB2 Connect Enterprise EditionDRDA-Compliant ServerData Replication Capture ApplyVisualAge for JavaDB2 ExtendersVisual ExplainDevelopersClient Configuration AssistantUsersDB2 DiscoveryAdministratorCommand Center (GUI CLP) DB2 UDB ServerDB2 UDB ServerGovernorControl Center and Utilities Performance MonitorJob SchedulerPerformance SmartGuideNetwork Configuration SmartGuideAdministration ServerSatellite Administration集成化的图形界面管理工具
- 37. Control Center
- 38. Command Center
- 39. Performance Monitor
- 40. Performance Smart Guide
- 41. Index SmartGuide
- 42. Other Tools Integrated with the DB2 Control CenterDB2 Script Center Allows users to create and schedule scripts for regular database activities DB2 Journal Provides users with a view of activities which have occured in the DBMS DB2 License Center Allows users to monitor license compliance DB2 Information Center Provides users with the entire DB2 UDB Technical Library online Server Communications (Network) Configuration Assistant Automates set up of server for communication with clients Client Configuration Assistant Database connection configuration and testing Can request that DB2 Discovery search network for databases ODBC administration DB2 Discovery Searches for DB2 servers and databases over the network Returns information required for connection to client
- 43. DB2家族产品——全面解决方案TCP/IP IPX/SPX NETBIOSDOS WINDOWS WinNT Win95 Win98 OS/2 AIX HP-UX SCO SUN Solaris SNI SINIX SGI Irix MAC Web BrowsersClientsDB2 for OS/400 DB2 for AIX DB2 for OS/2 DB2 for HP-UX DB2 for HP-UX 11.0 DB2 for SUN Solaris DB2 for SINIX DB2 for NT DB2 for SCO DB2 for SCO Unixware 7ServersDB2 Connect Datajoiner Net.DataMiddlewareParallel ComplexesDB2 UDB EEE for AIX DB2 UDB EEE for SUN Solaris DB2 UDB EEE for Windows NT DB2 UDB for OS/390 DB2 for OS/400PersonalDB2 for OS/2 DB2 for WinNT DB2 for Win95 DB2 for Win98 Lotus Approach Satellite Edition DB2 EverywhereOracle Sybase Informix SQL Server IMS VSAMSourcesTivoli TME-10 Satellite EditionManagementHostsDB2 UDB for OS/390 DB2 for VM and VSE DB2 for OS/400TCP/IP SNA IPX/SPXWANComplete Solutions
- 44. Online Analytical Processing (OLAP)由IBM研究员E.F. Codd提出，被业界广泛采用 为计划和分析优化处理 多维视图 钻取 切片 满足用户需求 填补关系型数据库的不足 利用现有投资 后台交易系统 前台报表系统
- 45. OLAP: 多维分析用维的方法观察数据 产品，时间，地区，财务指标等 数据模型等同于业务模型结算分析归属局被访局时间冲销结算北京上海天津北京广东...Q1Q4来访费用出访费用Q2Q3
- 46. OLAP：多维分析旋转：按不同顺序组织各个维，对结果进行考察 钻取：在一个维内部沿着从高到低或从低到高的方向考察数据 上钻 下钻 切片：在确定某些维数据的情况下对其他维进行观察
- 47. OLAP: 多维分析时间归属局被访局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一个特定的维 时间维，包括每一个归属局到各被访局的冲销结算关系 钻取到下面的层次来考察详细情况
- 48. OLAP：旋转时间归属局被访局归属局被访局时间按照不同的顺序组合维，对数据进行考察
- 49. OLAP：钻取结算分析时间归属局被访局冲销结算199920002001北京上海...北京上海来访费用出访费用Q1Q2Q3Q4AprMayJun钻取到各级数据层次 时间，年，季，月，日 归属局，省局，地市
- 50. OLAP：切片时间归属局被访局时间被访局归属局一月份所有归属局对各被访局的冲销结算关系每个归属局对被访局北京每个月份的冲销结算关系用切片的方法从不同的角度观察
- 51. OLAPOLTPOLTP vs. OLAP：不同的角色纪录交易情况 有限的步骤 二维 数据管理 数据处理 运行 商业运作确定任务 反复的过程 多维 数据合并 信息综合 推动 商业计划
- 52. DB2 UDB支持OLAP的高级特性优化的 SQL先进的基于成本的优化器(Starburst)查询重写图形化界面生成的低效SQL独特的星型连接算法ProductStoreMonth先进的索引技术110011101010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStoreCube, Rollup 操作符表函数并行支持自动的摘要表复制的表
- 53. IBM DB2 OLAP Server开放的系统 最终用户OLAP工具 最终用户查询/报表工具 易于实现和管理 自动化的数据库设计 利用现有的技能和工具 系统管理 数据库管理 高度可伸缩性(Scalability) 与IBM数据仓库体系结合 提供两种存储方式 易于使用的安全权限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti- dimensionalData Store
- 54. 开放的接口标准开放的应用程序接口和工具 C/C++ API、JDBC、ODBC/CLI Embedded SQL、SQLJ、Java、C/C++、VB、Delphi/C++ Builder、Power Builder … 众多的客户端工具 DB2 OLAP Server Analyzer Business Object Brio Cognos Excel/Lotus 123 …
- 55. 通用的运行平台AIX Solaris HP-UX Windows NT/2000 Linux S390 AS400
- 56. OLAP Server与数据仓库管理器紧密集成IBM的数据仓库管理器中带有大量与OLAP Server相关的程序(vwp)： 文件数据加载到OLAP 数据库数据加载OLAP 用文件数据更新维 用数据库数据更新维 计算 用规则计算
- 57. 客户可以使用Web方式访问，不需要安装任何OLAP工具。Web浏览器应用服务器WWWOLAP Server数据仓库TCP/IP客户端访问和维护
- 58. 完善的授权机制： 应用程序级 数据库(Cube)级 过滤器 读、写、计算、设计权限 用户组 图形化管理界面用户、权限管理
- 59. 完整的日志纪录
- 60. 数据挖掘数据仓库选择的 数据选择转换挖掘理解转换后的数据可理解的信息抽取的信息一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。
- 61. 数据挖掘的典型例子基于历史数据预测行为发现未知分群、规则和模式
- 62. 常用数据挖掘算法分为三类Data Mining AlgorithmsNo PredictionPredict One ThingTime Series MatchingPredict EverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural
- 63. 常用数据挖掘算法Clustering (Segmentation) - no dependent variable Demographic Segmentation Neural Segmentation (Kohonen Map) Example: Identify common characteristics in a customer data base. Predictive/Classification Modeling - dependent variable Nonlinear regression Decision trees Neural networks Radial-basis functions Example: Predict IBM's stock price tomorrow.
- 64. 常用数据挖掘算法Link Analysis - transaction data Basic associations (or dissociation) Sequential associations (over time) Example: Identify which features of an insurance policy sell together. Similar Time Sequence
- 65. 许多业务问题可以映射到数据挖掘技术
- 66. Intelligent Miner for Data V6.1
- 67. IBM Intelligent Miner for DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisualization ToolsIBM DM Pre-Processing LibraryDB2Flat Files数据驱动 发现竞争优势Server端运行于 NT/2000, AIX, SUN Solaris, MVS, AS/400 Client端运行于Win95/NT/2000, AIX, SUN Solaris
- 68. 分群(Clustering)结果样例
- 69. 分群(Clustering)结果样例
- 70. 分类(Classification)结果样例
- 71. 客户表 公司与客户发生关系的各个方面预测客户可能带来的利润car typecar ageprofessionageamount of claimsvan2.5physicist520van12physician315,000compact1teacher25386sedan0.75teacher551,234compact4secretary39998sports car3car dealer62stat. wagonvicar30sedan1.546compact1.5butcher46预测样例
- 72. Intelligent Miner for Data支持三种类型的关联分析 发现关联规则 在交易数据库中，每一笔交易包括一组元素，本算法可以发现所有的关联关系，例如一组元素的出现将导致另一组元素的出现。 发现事件序列 在数据库中存放这一段时间中的交易信息，本算法可以找出交易间的模式，例如一组元素将跟随另一组元素的出现而出现。 发现相似性时间序列 在时间序列数据库中，找出与某一个具有相同/不同时间间隔的序列相似的序列。关联分析(link analysis)
- 73. IM4D体系结构Client ServerStandard Extraction or Replication ToolData AnalystResultsGraphical User InterfaceApplication Program InterfaceData Mining TechniquesOracleSybaseData Processing FunctionsFlat FilesDB2DB2Files
- 74. 数据挖掘为业务方案提供了一条途径Clearly Define the Business ProblemUnderstand ProblemPrepare Relevant Datadata miningAnalyze ResultsPresent ResultsImplement Solution and Measure Success
- 75. IBM DM on the Webhttp://www.software.ibm.com/data http://www.software.ibm.com/data/db2 http://www.redbooks.ibm.com
- 76. 谢谢
该用户的其他文档
相关PPT