[data]数据仓库（多维模型）

数据仓库1.基本概念随着技术的普及和发展，人们不仅对一般的业务处理感到满意，而且对系统提出了更高的要求: 提供决策支持什么叫技术？面向分析的环境；一种将相关数据转换为具有商业价值的信息的技术. 1.从到数据仓库系统可以很好地用于事务处理，但是其对分析处理的支持并不令人满意. 特别地，当专注于业务处理的事务处理（OLTP）应用程序和专注于分析处理的DSS应用程序共存于系统中时，就会出现许多问题. 例如，事务处理应用程序通常需要当前数据，主要考虑到响应时间短；尽管分析处理应用程序需要历史，全面和集成的数据，但其分析处理过程可能持续数小时，这会消耗大量系统资源. 人们逐渐意识到，用事务处理环境直接支持DSS是不可行的. 为了提高分析和决策的效率，必须将分析处理及其数据与操作处理及其数据分开. 必须从事务处理环境中提取分析数据，并根据DSS处理的需求进行重组，并且必须建立单独的分析处理环境. 数据仓库技术是一种用于构建这种新的分析处理环境的数据存储和组织技术. 操作数据分析访问时，准确或全面的数据细节是准确的. 它代表过去的数据. 无需更新操作要求即可进行更新. 操作要求可以事先知道. 生命周期是未知的. SDLC与生命周期完全不同. 要求高，性能要求高，一次操作一次，一次单位一次，一次收集一次，事务驱动分析，面向应用的分析，一个操作数据量，一个操作数据量，对日常操作的大支持，支持管理需求，数据仓库和决策支持系统（DSS）用户进行决策时，您需要从企业的各个方面获取信息，因此用户通常首先根据每个企业的中的数据创建一个数据仓库. 部门存储各种历史信息和摘要信息.

数据仓库的进一步应用是通过功能强大的分析工具实现的. 当前，有三种主要类型的分析工具可用于决策支持. 第一类可以支持涉及分组和聚集查询的系统，并且可以支持各种复杂的布尔条件，统计函数和时间序列分析. 主要由上述查询组成的应用程序称为联机分析处理或OLAP. 在支持OLAP查询的系统中，最好将数据视为多维数组. 第二种系统仍然是支持传统SQL查询的DBMS，但经过专门设计可有效执行OLAP查询. 这些系统可以看作是为决策支持应用程序优化的关系系统. 许多关系供应商已经扩展了他们的产品，随着时间的推移，专用OLAP系统和支持决策支持的关系系统之间的差异将逐渐消除. 第三类分析工具可用于在大量数据集中查找有意义的数据趋势或模式，而不是上面提到的复杂数据查询. 在数据分析的过程中，尽管分析人员可以确定所获取的数据模式是否有意义，但很难生成查询以获取有意义的模式. 例如，分析人员查看使用记录，并希望发现异常的使用行为，以表明该被滥用. 商家希望通过查看客户记录来寻找潜在客户以提高收入. 许多应用程序涉及大量数据，这些数据很难通过手动分析或传统的统计分析方法进行分析. 数据挖掘的目的是支持对大量数据的分析.

2. 数据仓库的定义和特征WHInmon是数据仓库理论的创始人，在他的《 Building DataWarehouse》一书中给出了数据仓库的四个基本特征: 面向主题，数据集成，数据不可更新，数据不断变化. 时间采购子系统: 订单（订单号，供应商编号，商品编号，类别，单价. 数量，总金额，日期，...供应商（供应商编号，供应商名称，地址，电话，...）销售子系统: 客户（客户编号，名称，地址，电话多维，...库存子系统: 仓储订单（编号，商品编号，数量，单价，日期，...库存）（商品编号，仓库编号，类别，单价，库存数量，总金额，日期多维，...产品固有信息: 产品编号，类别，单价，颜色，...产品购买信息: 产品编号，类别，供应商编号，供货日期，单价，数量，...产品销售信息: 产品编号，客户编号编号，数量，单价，销售日期商品主题字段: 采购子系统，销售子系统，库存子系统3，数据仓库中的数据组织数据仓库中的数据分为四个级别: 早期细节级别，当前细节级别，轻微综合级别，综合水平高. 1985?1998销售计划1998?2003销售计划1998?2003月销售计划1998?2003季度销售计划DW还有一种重要的数据类型: 元数据（Metedata）.

元数据是“关于数据的数据”（RDBMS中的数据字典是元数据数据仓库中的一种元数据，它描述数据的结构，内容，索引，代码，数据转换规则，粒度定义等. 4，数据仓库系统结构RDBMS数据文件，其他综合数据，当前数据，历史数据，元数据提取，转换，加载，数据仓库，OLAP工具，DM工具，查询工具，分析工具2.数据仓库设计. 数据仓库的划分分为以下三个阶段: 数据仓库的建模和分析主题领域，确定粒度级别，确定数据分段策略，构建数据仓库的存储结构和存储策略，数据DSS应用程序编程三，操作数据存储（ODS在许多情况下，DB-DW的两层体系结构不适合企业数据处理要求. 因为，尽管数据处理可以大致分为操作类型和分析类型，这两种类型的处理没有区别. ODS（运营数据存储）是一个中间级别. 一方面，它包含企业的整体一致性，详细的，当前的或接近于当前的数据；另一方面，它是一个面向主题的集成数据环境，适合于日常决策的分析和处理. 四，数据仓库的实现数据仓库的工具主要包括: 数据预处理工具，数据分析（OLAP）工具，数据挖掘工具，OLAP服务器. 数据仓库和OLAP工具基于多维数据模型（在数据仓库中，数据通常以多维方式存储.

）. 基本概念维度: 人们观察数据的特定角度. 维度级别: 人们可能会在特定角度的数据中观察到具有不同细节级别的描述的多个方面，我们称之为维度级别. 多维分析的基本操作: 体积: 汇总数据，钻取: 详细数据，切片，旋转. 销售量产品，月，月维度: 产品，位置，时间分层汇总路径行业区域年份类别国家季度产品城市月份周办公日总年销售额USADate总和电视VCR PC 1Qtr 2Qtr 3Qtr 4Qtr美国加拿大墨西哥总和为a选择了两个维度一个月的产品销售: 产品维度，区域维度，时间维度，数据切片，区域维度以及基于RDBMS的数据仓库，以实现关系. 多维中的多维结构分为两类: 一类是事实表，用于存储事实的度量值和每个维度的代码值;另一个是维度表数据仓库的设计模型: 星型，雪花模式和混合模式的数据仓库设计也可以理解为面向OLAP的设计.

在星型模式下，主数据存储在事实表中，没有冗余，并且符合3NF或BCNF. 尺寸值信息存储在尺寸表中. 尺寸表通常不需要标准化. 主要原因是维表是静态的，是否由于更新而导致异常并不重要. ProductsPid pname类别价格Location位置Locid城市州国家Pid timeid locid sales Timeid日期月季度年holiday_flag次销售订单号销售人员编号客户编号产品编号日期识别区域名称数量总价订单编号订单日期客户编号客户名称客户地址销售人员编号名称市产品编号产品名称单价日期识别事实表星型订单号销售人员编号客户编号产品编号日期识别区域名称数量总数价格订单编号订购日期客户编号客户名称客户地址销售人员编号名称城市产品编号产品名称单位价格日期识别事实表雪花模式产品编号公司代码公司代码公司名称地址五，SQL Server 2000数据仓库工具数据转换服务（DTS）用于将数据加载到数据仓库中. 数据复制用于在分布式数据仓库中分发和加载数据. OLE DB提供了应用程序和数据源之间的接口. API Analysis Service用于收集和分析数据仓库中的数据. 英文查询提供英文查询. 数据仓库元数据服务浏览数据仓库中的元数据PivotTable服务用于自定义客户端界面以操作多维数据. 数据仓库或数据市场中的信息可以通过分析（OLAP）处理. OLAP可以通过测量多维数据集来有效地使用尺寸和查看数据.

但是，存在这样一个问题: 尽管OLAP聚合是可以在数据仓库中实现的查询性能的关键因素，但是存储这些聚合数据的成本是磁盘存储量. 实际上，总数据量很容易超过原始数据量. 另外，随着尺寸和总体积的增加，所需的OLAP数据存储量也会大大增加. 这种对存储容量的巨大需求通常称为数据爆炸. OLAP描述了多维数据服务. 该服务旨在确保分析人员，管理人员和决策者可以通过快速，一致和交互式的实时数据访问和针对特定问题的分析来获得创造性的发现. 在SQL Server 2000中，存在三种将维度数据存储在数据仓库中的方法，每种方法随其数据存储要求和数据检索速度而变化. MOLAP: 多维OLAP将维度数据和事实数据存储在用于压缩索引的永久数据存储中. 聚合存储用于加速数据访问. MOLAP查询引擎是专有的，并且已针对MOLAP数据存储所使用的存储格式进行了优化. MOLAP提供了比ROLAP更快的查询处理速度，并且需要更少的存储空间. 但是，它的伸缩性不好，需要单独的进行存储. ROLAP: 关系OLAP将总计存储在关系数据表中. ROLAP的关系应用程序允许它使用现有的资源，并允许R OLAP应用程序很好地扩展.

但是，与MOLAP相比，ROLAP总共使用表存储空间需要更多的磁盘空间，并且速度相对较高. HOLAP: 顾名思义，混合HOLAP位于MOLAP和ROLAP之间. 与ROLAP一样，HOLAP将主数据存储在源中. 像MOLAP一样，HOLAP将总计存储在与主关系分开的永久数据存储中. 这种混合形式使HOLAP具有MOLAP和ROLAP的优势.

本文来自本站，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-248980-1.html