1.1 系统构成
童式魔方的构成主要包括:数据仓库、ETL、元数据解析器、数据分析引擎、公式解析器、数据渲染引擎、缓存机制、知识库、报表展示器、图形展示器。
1.1.1 数据仓库
童式魔方可采用各种sql数据库来建立数据仓库,具体的选择需根据用户的实际情况,对于一般情况的需求最简单的方法就是采用mysql数据库。
1.1.2 ETL
ETL是数据采集、清洗的工具,负责从各类数据源中根据用户需要筛选出来的感兴趣的数据并创建成通用、可重复使用的多维数据立方体;ETL具有极高的存储效率和响应速度,一旦创建规则、建立存储,企业不同层级用户将基于立方体进行商业分析,完全与生成系统进行剥离,性能可靠性得到保障,保证用户访问数据的响应速度。
1.1.3 元数据解析器
元数据是系统中关于数据源、数据结构、业务模型等的描述,是整个分析系统的基础,童式魔方的设计、开发和使用都是基于元数据来进行的。系统采用了业界标准的立方体定义方法,并对其进行了部分的改进,如树型描述部分;系统提供了对这种定义方法的解析器,该解析器支持元数据的热加载,在系统启动时便可加载已定义的元数据,亦可在系统启动后检测到新的元数据定义并加载,随时准备提供给用户做分析设计。 输入:元数据定义文件;输出:元数据对象;元数据解析器具备以下特性:l 准确性:相同的元数据定义应该产生一致的解析结果。l 热加载:对新增的元数据定义的反应 应该是快速及时的。
1.1.4 数据分析引擎
数据分析引擎是整个系统的核心部分,主要负责:立方体的模拟、把设计纬度解析成分析纬度、把原生数据转换成立方体数据、纬度与度量的上卷与下钻、子立方的计算(与公式解析器的交互)、子立方的定位;输入:原生数据(数据仓库提供)、设计立方体(知识库提供);输出:计算后的模拟立方体对象;数据分析引擎还应该提供对自身工作的监控信息,监控信息应该包含模拟立方体对象生成的时间和数据容量等信息。――未完成数据分析引擎具备以下特性:l 准确性:相同的原生数据在相同的统计口径中应该产生一致的分析结果;l 高性能:对数据的处理应该是快速及时的;l 伸缩性:对数据的处理和分析是可配置的;l 智能型:可自识别所有的子立方是否计算完成,避免无限制的计算;
1.1.5 公式解析器
公式解析器用与配合数据分析引擎对自定义纬度的公式进行解析和计算,支持四则运算、分片排名、同期比、环比;公式的参数定义规则有两种:父子关系、轴坐标;输入:自定义公式、模拟立方体对象;输出:计算结果;公式解析器具备以下特性:l 准确性:相同的模拟立方体对象在相同的计算公式中应该产生一致的计算结果;l 高性能:对公式的解析、参数在模拟立方体的定位、结果的计算应该是快速及时的;l 易扩张:公式定义的需求是多变的,解析器需不断扩展自己的解析能力;
1.1.6 数据渲染引擎
数据渲染引擎负责对数据分析引擎提供的数据进行最后的格式化操作,包含数据的监控报警信息,用于提供给分析结果展示器;数据渲染引擎扮演一个油漆工的角色,只是对数据分析引擎分析完成的数据进行美化工作;输入:模拟立方体对象;输出:格式化数据; 渲染引擎应该具备以下特性:l 高性能:对数据的渲染应该是快速的;l 兼容性:渲染引擎输出应该兼容同类设备,例如Html应该兼容IE和FireFox;
1.1.7 缓存机制
缓存机制的产生主要是为了解决多用户的并发访问和相同立方体的访问,主要是向外提供已经被缓存了的数据;缓存机制缓存的数据可能是原生数据,也可能是数据分析引擎生成的模拟立方体对象或者数据渲染引擎生成的数据。输入:供存储的数据输出:无或者被缓存的数据缓存机制具备以下特性:l 高性能:对被缓存的数据的查找和返回应该是快速的;l 高并发:缓存机制能够舒缓多用户操作带来的并发压力问题,主要舒缓后端立方体数据的并发计算和原生数据的并发访问;l 自适应:能根据总体内存的大小和数据的使用频率来清理缓存,使自身能良好运作;
1.1.8 知识库
知识库用于存储用户定义的各种分析要求,包括立方体的定义和纬度定义,并提供简单易用的设计界面。知识库作为整个系统的核心配置存储应该具备以下特性:l 数据的稳健性:知识库中的数据因为涉及大量的报表配置信息,这些数据应该是稳定而且不易丢失的;l 查询性能:因为报表引擎频繁访问知识库中的数据,一般情况下,知识库的查询性能优于其写入性能;
1.1.9 报表展示器
报表展示器用于对分析结果的展现,结合数据渲染引擎可支持html、excel、pdf等多种格式的展现,html的展现可支持纬度的上卷、下钻、筛选、行列对换,亦可支持度量数据的钻取等操作。输入:数据渲染引擎渲染后的数据输出:报表报表展示器具备以下特性:l 高性能:报表展示器能把模拟的立方体数据快速转换成报表数据;l 直观性:报表呈现的数据要直观易懂,提供交互的地方要易操作。
1.1.10 图形展示器
图形展示器用于对分析结果的图形展现,可支持柱图、线图、区域图、饼图等多种形式的图形展现。输入:模拟立方体对象、图形展示参数输出:图形图形展示器具备以下特性:l 高性能:图形展示器能把模拟的立方体数据快速转换成图形数据;l 图表联动:图形展示器可根据用户对报表的操作结果生成相应的图形。
posted on 2008-11-06 08:58
kufee 阅读(1771)
评论(0) 编辑 收藏