知识大全 深入探讨数据仓库建模与ETL的实践技巧[6]
Posted 知
篇首语：欠伸展肢体，吟咏心自愉。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 深入探讨数据仓库建模与ETL的实践技巧[6]相关的知识，希望对你有一定的参考价值。
深入探讨数据仓库建模与ETL的实践技巧[6] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！
(三) 日志表的运用
在对数据进行处理时 难免会发生数据处理错误 产生出错信息 那么我们如何获得出错信息并及时修正呢? 方法是我们使用一张或多张Log日志表 将出错信息记录下来 在日志表中我们将记录每次抽取的条数 处理成功的条数 处理失败的条数 处理失败的数据 处理时间等等 这样 当数据发生错误时 我们很容易发现问题所在 然后对出错的数据进行修正或重新处理
(四) 使用调度
在对数据仓库进行增量更新时必须使用调度(图九 pic bmp) 即对事实数据表进行增量更新处理 在使用调度前要考虑到事实数据量 确定需要多长时间更新一次 比如希望按天进行查看 那么我们最好按天进行抽取 如果数据量不大 可以按照月或半年对数据进行更新 如果有缓慢变化维度情况 调度时需要考虑到维度表更新情况 在更新事实数据表之前要先更新维度表
调度是数据仓库的关键环节 要考虑缜密 在ETL的流程搭建好后 要定期对其运行 所以调度是执行ETL流程的关键步骤 每一次调度除了写入Log日志表的数据处理信息外 还要使用发送Email或报警服务等 这样也方便的技术人员对ETL流程的把握 增强了安全性和数据处理的准确性
五 总结
构建企业级数据仓库需要简单的五步 掌握了这五步的方法 我们可以构建一个强大的数据仓库 然而 每一步都有很深的内容需要研究与挖掘 尤其在实际项目中 我们要综合考虑 例如 如果数据源的脏数据很多 在搭建数据仓库之前我们首先要进行数据清洗 以剔除掉不需要的信息和脏数据
ETL是OLTP系统和OLAP系统之间的桥梁 是数据从源系统流入数据仓库的通道 在数据仓库的项目实施中 它关系到整个项目的数据质量 所以马虎不得 必须将其摆到重要位置 将数据仓库这一大厦的根基筑牢!
cha138/Article/program/SQL/201311/16273相关参考
深入探讨数据仓库建模与ETL的实践技巧[3] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 这里
深入探讨数据仓库建模与ETL的实践技巧[2] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ (二
深入探讨数据仓库建模与ETL的实践技巧[1] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 这篇
深入探讨数据仓库建模与ETL的实践技巧[5] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ ET
ETL的过程原理和数据仓库建设[1] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 引言 数据
ETL的过程原理和数据仓库建设[2] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 数据抽取和上
一课程简介 定价￥ 本视频课程共课时主要讲述了数据仓库（DW）和数据挖掘（DM）的基本方法基本原理重点说明这些方法的主要思想和技术在数据仓库部分不仅全面深入地介绍了基本概念和体系结构而且详细阐述了
在数据仓库中经常查询的SQL总带有下列特征: ◆几个表进行关联 ◆只有一个数据量巨大的表称为事实表 ◆其他的都是编码表称为维表 ◆维表和事实表之间有主外键关系 假设有D(key)D(ke
数据仓库应用具有从多个分散的部门级系统中捕捉大量共享信息的能力它们可以将机构的原始数据有效地转化为有用的知识信息于是这些知识信息就可以被用来进行战略决策支持从而提高企业效益在一个先进的数据仓库应用
规则七:要确保数据仓库工具协作使用 尽管数据仓库市场已经进入了第二代它仍然是不成熟的其表现为过多过剩的产品有太多的厂家而无明确的领导者导致了行业上的竞争使购买决策变得困难这使得那些想对来自多厂家