数据仓库技术架构方案V2.8.pptx

《数据仓库技术架构方案V2.8.pptx》由会员分享，可在线阅读，更多相关《数据仓库技术架构方案V2.8.pptx（54页珍藏版）》请在悟道方案网上搜索。

1、SPDB Project Training,数据仓库技术架构方案,议程,架构设计原理 整体架构说明 ETL架构说明,架构立方,逻辑架构层,物理,业务,信息,应用,技术,当前,转换,目标,逻辑层,方案,项目,操作的顺序,定义的 等级,起,止,经,成功由好的架构设计方法开始,业务,What is the business model, where is it going, how does it plan to get there? The requirements. The business process.,信息,What data do we have and need to support

2、 the Business View? Information is also calculations and rules. Typically we see Logical & Physical data models here, all subject areas of the business. The data is worked on by the applications, used by the business. 应用 What functions and interrelations of functions do the applications have and nee

3、d? Sales, Marketing, Pricing, Manufacturing, Customer Management. Works against information to support the Business View. The applications work within the confines of the Information architecture, creating and consuming the data elements, rules and definitions of that architecture view.,技术 The bit I

4、T cares about most. The easiest to get WRONG because we dont concentrate on the other aspects of architecture FIRST! What do we have and need to support the other 3 Views without limitation? Choosing an ETL tool before you have defined an architecture is “SUB OPTIMAL” A separation of Business, Data,

5、 Process and Technology as appropriate,信息 业务,技术 应用,转换,当前,逻辑层,目标,方案,项目,Tier 3 Semantic Layer,视图 逻辑数据集市 依赖型数据集市 分析型知识库,PHY,Log,EDW 应用逻辑架构,M E T A - D A T A,M E T A - D A T A,多功能模型 历史数据 经转换后,Tier 2,Single Version,Of Corporate Memory,CUSTOMER,CUSTOMER NUMBER,CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUS

6、TOMER ST CUSTOMER ADDR CUSTOMER PHONE CUSTOMER FAX,ORDER ORDER NUMBER,ORDER DATE STATUS,ORDER ITEM BACKORDERED,QUANTITY,ITEM ITEM NUMBER,QUANTITY DESCRIPTION,ORDER ITEM SHIPPED QUANTITY SHIP DATE,Tier 1 Operational Image,操作型源数据影像,Reference Architecture - Source View,Enterprise Service Bus,TX1,APPL,N

7、W,DA-M,W,TX2,APPL,MSG-MW,DA-M,W,TX3,APPL,MSG-MW,DA-M,W,TX4,APPL,MSG-MW,DA-M,W,BI,APPL,MSG-MW,DA-MW,Tactical,APPL,MSG-MW,DA-MW,Strategic,APPL,MSG-MW,DA-MW,Business Process Automation,Analytic & Decision Making Services,Transactional Repositories,Batch,Streaming,Data Acquisition & Integration,Transact

8、ional Services,Frontline Users,Business Rules,Event Notification,MSG-MW,Event Detection,WAN / VAN,RS,Internet / Intranet,WAN / VAN,OLTP1,OLTP2,OLTP3,OLTP4,DA-MW,DA-MW,DA-MW,RDBMS Based Event Processing,BI,APPL,NW,DA-MW,QD,QD,C/S,Web,Back-office users Web C/S,ASP / JSP Service Brokers,Analytic & Deci

9、sion Making Repositories,RS,EDW B,EDW A,RDBMS Based Event Processing,QD,QD,Duplicate,MSTG-rMaW nsacMStGi-oMWn,Extract from Database,Reference Architecture Data loading View,Enterprise Service Bus,TX1,APPL,NW,DA-M,W,TX2,APPL,MSG-MW,DA-MW,TX3,APPL,MSG-MW,DA-MW,TX4,APPL,MSG-MW,DA-MW,BI,APPL,MSG-MW,DA-M

10、W,Tactical,APPL,MSG-MW,Strategic,APPL,DA-MW DA-MW,Business Process Automation,Analytic & Decision Making Services,Transactional Repositories,Batch,Streaming,Data Acquisition & Integration,Transactional Services,Frontline Users,Business Rules,MSG-MW,Event Notification,MSG-MW,MSG-MW,Event Detection,WA

11、N / VAN,RS,Internet / Intranet,WAN / VAN,OLTP1,OLTP2,OLTP3,OLTP4,DA-MW,DA-MW,DA-MW,RDBMS Based Event Processing,BI,APPL,NW,DA-MW,QD,QD,C/S,Web,Back-office users Web C/S,ASP / JSP Service Brokers,Analytic & Decision Making Repositories,RS,EDW B,EDW A,RDBMS Based Event Processing,QD,QD,TpumMSpG-MW,+,A

12、ccess Module,Reference Architecture - Application View,Enterprise Service Bus,TX1,APPL,NW,DA-M,W,TX2,APPL,MSG-MW,DA-MW,TX3,APPL,MSG-MW,DA-MW,TX4,APPL,MSG-MW,DA-MW,BI,APPL,MSG-MW,DA-MW,Tactical,APPL,MSG-MW,DA-MW,Strategic,APPL,MSG-MW,DA-MW,Business Process Automation,Analytic & Decision Making Servic

13、es,Transactional Repositories,Batch,Streaming,Data Acquisition & Integration,Transactional Services,Back-office users,Frontline Users,Business Rules,MSG-MW,Event Notification,MSG-MW,MSG-MW,Event Detection,WAN / VAN,RS,Internet / Intranet,WAN / VAN,OLTP1,OLTP2,OLTP3,OLTP4,RDBMS Based Event Processing

14、,BI,APPL,NW,DA-MW,QD,QD,C/S,Web,Consumers Suppliers,Web C/S,ASP / JSP Service Brokers,Analytic & Decision Making Repositories,RS,EDW B,EDW A,RDBMS Based Event Processing,QD,QD,DA-MEW JB (DEA-MnW tity)DA,-MW,Hibernate, SQL,via JDBC,Enterprise Users (WBrowesbersLaondg/oir cPorPtalo) rtalet,WInteernabl

15、 servPiacrteners,议程,架构设计原理 整体架构说明 ETL架构说明,CUSTOMER,CUSTOMER NUMBER,CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUSTOMER ST CUSTOMER ADDR CUSTOMER PHONE CUSTOMER FAX,ORDER ORDER NUMBER ORDER DATE STATUS,ORDER ITEM BACKORDERED,QUANTITY,ITEM ITEM NUMBER QUANTITY DESCRIPTION,ORDER ITEM SHIPPED,QUANTITY,SH

16、IP DATE,Co-located Dependent,Mart,Dimensional View,Logical Mart,Teradata Warehouse Framework Since forever,Knowledge Discovery/ Data Mining,Business Users,Assemble,Manage,Answer,IT Users,Business Users,IT Users Source Data (Internal and/or External) Data Loading,Information Access /Applications,Exte

17、rnal Dependent Mart,Operational Image,Cross Functional Model,Semantic Layer,Data Access Layer,Metadata,Logical/Physical Data Model,Data Dictionary,Business & Technology Services,Network/Database/Systems Management/Backup Recovery,View,View,ELT,ETL过程,Portal（访问控制统一认证）,数据仓库监控运行管理,数据质量检查,调度控制日志,输出接口,安全管

18、理机制,IT用户层,数据仓库管理,PDM,Meta Data,EDW,数据导入层 数据服务层 中间服务层,访问控制层 业务用户层,出错处理回溯,备份与恢复,元数据管理,. . .,. . .,Sybase,核心业 务系统,Informix,SAP,业务系统,业务系统镜像,外围外 挂系统,外围外 挂系统,源数据层 SQL Server 2000 Snapshot,Snapshot,镜像,技术体系架构设计,【组成部分】 核心业务系统的镜像系统 （Informix平台） 数据汇集平台1（SQL Server 2000平台） 数据汇集平台2 （Sybase平台） SAP系统（SQL Server 20

19、00平台） 【存在形式】 关系数据库RDBMS及其 对象如View（在线数据） 磁带备份（历史数据）,核心业务系统通过 数据库镜像提供对 核心业务数据的访 问 数据汇集平台通过 数据库Snapshot 来获取对相关源系 统业务数据的访问 SAP系统直接提供 对业务数据的访问,源数据层,. . .,. . .,Sybase,核心业 务系统,Informix,SAP 业务系统,业务系统镜像,外围外 挂系统,外围外 挂系统,源数据层 SQL Server 2000 Snapshot,Snapshot,镜像,数据导入层 (ETL),数据导入层,【功能与作用】 从源数据层的数据抽取采用 DataStag

20、e 向数据仓库中央数据库的数据加载 采用Teradata的数据加载工具或 DS插件 整个ETL流程管理采用Teradata 的DW Automation工具。 ETL系统的具体要求需要与其他系 统的ETL需求综合考虑。 【组成部分】 ETL调度与日志跟踪管理模块 ETL运行脚本模块 数据质量检查模块 出错处理与回溯模块,ETL控制数据,Teradata数据库,临时数据区,数据区,获取 (DS),转换 (DS),加载,清洗、转换 和计算,数据更新 和生成,多维数据 生成/数据 输出,OLAP Cube,数据源,确认、映射,DW Automation任务调度与控制,数据质量检查,数据质量检查,数据

21、质量检查,数据导入层 (ETL),接口数据,数据流,流程控制,数据质量检查实施框架,Data Quality Rules Engine,记录级检查,Source Data File,Staging Area,Load,Transfer,Data Warehouse,业务指标级检查,业务指标级检查,数据服务层 (中央数据库),【功能与作用】 作为本系统的数据核心部分，负责存储和管理来自各 种源数据系统的数据，并为访问用户提供数据服务。 数据按照逻辑数据模型分主题存放 采用Teradata的Teradata关系型数据库。 【组成部分】 设计(Design)：逻辑数据模型(LDM)和物理数据 模型(

22、PDM)，同时也包括维护和管理数据模型各个 版本的过程与方法。工具是ERWin。LDM采用 Teradata的FS-LDM作为设计的基础。 存储(Store)：数据存储体系是专业数据仓库引擎 Teradata以及Teradata 5400 MPP硬件平台组 成。 数据存储内容包括两部分组成： 数据仓库基础物理数据模型：用于保存各类业务的基 础数据； 数据仓库汇总数据模型：用于保存各类业务的汇总数 据数据；,数据服务层 EDW PDM CDL,Teradata,多维数据,核心,个贷,信贷,财务,营销,其他,ETL 服务器,Stage,ETL Repository,PDM,应用数据区VA,CRM,

23、 ALM 或应用Repository,应用系统,多维数据 报表查询 应用系统 Teradata数据库 应用数据区: VA,CRM, ALM 或应用Repositor y 数据区LData ETL Repository: LETL 基 础 数 据 Metadata Repository 中间结果 采集平台数据区 临时数据区LTemp ETL服务器 主机主机 计财计财 中间中间 代理代理 信贷信贷 电子电子 其他,报表查询,Metadata Repository,数据服务层与前端应用的关系,中间服务层 (业务应用),【功能与作用】 向用户提供包括OLAP服务、报表服务、查询服务、 数据挖掘服务和中

24、间件服务等多种服务应用。 为用户对中央数据的访问提供各种方式的服务，从而 实现访问方式的多样化和信息存取的透明化。 【组成部分】 中间数据服务 数据访问,中间服务层,源数据,中间结果 临时数据区,数据集市,多维数据,多 维 数 据 报 表 查询 应用系统 Teradata 数 据 库 应用数据区 : VA,CRM, ALM 或应用 Repository 数据区 LData ETL Repository: LETL 基础数据 Metadata Repository 中间结果 临时数据区 LTemp 采集平台数据区 ETL 服务器 主机主机 计财计财 中间中间 代理代理 信贷信贷 电子电子 其 他

25、,报表查询,应用系统,Teradata 数据库 数据区,中间数据服务,【功能与作用】 建立从属数据集 市 ， 或 OLAP Cube 满足用户对数据 访问的多样化、 灵活化。,数据访问,通过各种应用的定制与展现，用户对数据进行访问，包括： 报表与动态查询服务 包括Hyperion Performance Suite的访问接口与工具，用于定制与发布 报表和动态查询应用； 元数据服务 包括实现一组实现元数据应用报表和分析功能的应用接口； 数据仓库管理服务 提供数据仓库管理的信息查看、报警等服务。 其他服务 包括实现与其他应用系统集成的组件。 此外，还包括用于对外进行数据输出的服务 这些服务是由一些

26、数据导出组件组成的，为其他部门或机构提供数据仓库的 对外数据输出，例如为SAP等其他业务部门提供业务数据的输出。,访问控制层,【功能与作用】 主要包括WEB、认证、安全、门户四方面的服务。提供 HTTP Web服务、门户的用户登录、用户认证、门户Web应 用、并提交用户层请求到中间服务层，对用户实施安全策略， 为用户管理报表、查询文档，提供个性化定制等。 【组成部分】 Web Server采用WebLogic。 从产品的集成性角度出发，建议在数据仓库中采用HPS自带 的Portal，日后等浦发银行有了相应的技术标准之后，再来 讨论具体的对应策略。 经过与浦发银行的讨论，建议采用2次登录的方式实

27、现用户的 安全认证，而这也是目前浦发银行在其他项目中所采用的登录 方式。 由于数据仓库的用户来源于OA网段和生产网段，因此，需要 在生产网段设置Portal服务器的同时，在OA网段设置 Portal服务器的代理服务器。所有通过OA网段对数据仓库的 访问，都将通过该代理服务器转到生产网段的Portal服务器 上。,访问控制层,Portal,（访问控制统一认证）,Teradata 数据仓库平台 (RDBMS),OLEDB,ODBC,JDBC,CLI API,Teradata专有接口,Teradata 支持业界标准的数据访问接口,其他厂商的BI/挖掘工具,Teradata自己提供的访问工具,BTEQ

28、,Fastexp,Cognos,HPS,SAS,SPSS,Teradata数据访问技术接口,数据输出接口,Data Stage,用户安全管理及系统安全管理,用户分类 业务用户 决策管理层用户（决策用户） 部门专业用户（一般用户） 信息分析型用户（超级用户） 技术用户 操作用户 用户管理 用户分组 用户级别 用户安全管理 操作系统的安全控制 数据权限控制 数据库权限控制 前端功能的用户管理和访问权限控制 用户日志及审计,数据转移安全,网络安全与协议 操作系统安全 软件工具安全 数据存储安全 MPP架构 物理安全、用户登录与数据存取 数据保护 磁盘阵列RAID技术、 Teradata数据库级数据保

29、护 备份与恢复 数据访问安全 数据库级访问 登录管理、存取 权限、视图对象、存取日志,议程,架构设计原理 整体架构说明 ETL架构说明,ETL 架构说明,体系架构 ETL Automation 简介,ETL架构,ETL典型流程,DW Automation调度和控制,多维数据库,Teradata 数据库,接收,数据源,确认、映射,源数据,数据区,临时数据区,ETL控制数据,多维数据 生成,数据更新 和生成,清洗和转 换,转换,数据备份,数据检查,加载,完整的ETL加载系统由三部分组成 ETL Automation 运行环境 标志文件到达，则启动作业运行流程 判断作业的执行条件 运行作业的加载脚本

30、 作业的日志管理 客户化的数据加载流程 实现和业务系统的数据接口 确保数据加载的同步和一致 优化的作业加载流程 合理安排加载时间窗口，满足客户的要求 加载脚本,ETL架构,SPDB ETL 架构,DataStage 集成,DataStage工具将完成由镜像数据库或文件到Teradata数据库SA的 数据抽取和加载过程 ETL Automation来完成整个数据仓库ETL的统一管理和流程控制,SPDB ETL 环境部署,ETL 加载,体系架构 ETL Automation 简介,ETL Automation概况,Teradata自主开发 运行环境：Windows 2000/XP/2003 Per

31、l 封装 实现加载流程自动化管理 数据仓库自动化管理 支持多服务器并行 图形化的管理和监控,ETL Repository,ETL Automation 知识库(etl repository)建立在Teradata 数据 库中 Repository Tables可分为两类：配置表（用户维护）和日志表（系 统维护） ETL Automation的参数设置依赖于Repository Tables中的配置 表 ETL Automation在运行过程中不断地向Repository Tables读写 记录,Repository Tables,Repository Tables(Cont.),ETL Aut

32、omation的功能,加载作业的图形化设置、维护和修改 以数据驱动的作业自动执行 协调作业执行的相互关系 作业组管理 作业日志管理 数据定时清理 支持多加载服务器 作业并行处理 加载作业的实时监控 加载作业的远程报警-Email 开放的加载作业数据接口,系统驻留程序,七个系统驻留程序完成数据加载控 制 Etlagent Etlclean Etlmaster Etlmsg Etlrcv Etlwdog Etlschedule,系统驻留程序,并行多ETL 服务器配置,ETL Automation支持多ETL加载服务器 Primary Server Secondary Server 服务器独立完成各

33、自的作业 各服务器有各自的加载作业脚本 服务器的状态由Primary Server统一监控 统一的流程控制 服务器内作业并行 服务器之间作业并行,并行多ETL 服务器配置,D:ETL （主目录） |-APP |-DATA |-complete |-fail |-message |-process |-queue |-receive,D:ETL （主目录） |-APP |-DATA |-complete |-fail |-message |-process |-queue |-receive,RDBMS,ETL REPOSITORY,SERVER 1,SERVER 2,ETL Automatio

34、n目录结构,存放作业的作业脚本,存放已成功执行过的数据. 以系统名称以及日期来建立子目录,D:ETL （主目录） |-APP |-DATA |-complete |-fail |-bypass |-corrupt |-duplicate |-error |-unknown,存放不须执行的档案.以系统名称以及日期来建立子目录 存放大小不符合的档案. 以系统名称以及日期来建立子目录 存放重复接收的档案. 以系统名称以及日期来建立子目录 存放执行作业过程中产生错误的档案. 以系统名称以及日期来建立子目录 存放未定义在 ETL Automation 机制中的档案. 以日期来建立子目录,存放要发送讯息通

35、知的控制文件 存放正在执行中的作业所使用的数据文件及控制档 存放准备要执行的作业所使用的数据文件及控制档 用来接收各来源系统所传送来的数据文件及控制文件,|-message |-process |-queue |-receive |-LOG |-bin |-etc,存放 ETL Automation 系统程序及各作业在执行时所产生的记录档案 存放 ETL Automation 系统程序的执行文件 存放 ETL Automation 机制的一些设定档案,存放 ETL Automation 系统程序及各作业在执行时所产生的 lock 档案,|-lock |-tmp,ETL Automation处理

36、流程,complete,Fail(bypass,corrupt, duplicate,error,unknown),etlclean.exe,ETL LOG,etlagent .exe,etlwdog .exe,etlschedule .exe,ETL Automation 的特定概念,数据驱动 控制文件 - 控制作业处理的文件 dir.job_source_nameYYYYMMDD 由etlrcv 监控并处理 System_Name_Convert_Job_Name_YYYYMMDD.dir 由etlmaster监控并处理 数据文件 - 作业处理的数据文件，随控制文件一起在处理时移动 如果控

37、制文件是空文件，则表明该作业无数据文件 如果控制文件是非空文件，则其中必须包含数据文件的名称、大小,ETL Automation作业的状态,Ready Done,Pending,Running,Done,Failed,ETL Automation 作业触发机制,作业由控制文件驱动触发，当满足以下一个条件时被调用： 情况1）由 ETLRCV 服务监控并调用 监控 receive 目录下 dir.sysname_jobname_yyyymmdd 作业处于READY/Done状态时 情况2）由 ETLMAS 服务监控并调用 监控 queue 目录下 System_Name_Convert_Job_Name_YYYYMMDD.dir 作业处于PENDING状态时,作业被触发的几种方式,通过作业的触发关系(job stream)自动触发 控制文件由DW Automation 产生 不能处理需要数据文件的作业 通过作业的群组关系(job group)自动触发 控制文件由DW Automation 产生 不能处理需要数据文件的作业 通