知识大全 大数据面临的挑战
Posted 知
篇首语：勇敢，事会成功;勤劳，幸福必来。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 大数据面临的挑战相关的知识，希望对你有一定的参考价值。
大数据正在彻底改变IT世界 那么 什么样的数据谈得上数据呢?根据IDC的报告 未来十年全球大数据将增加 倍 仅在 年 我们就将看到 ZB(也就是 万亿GB)的大数据创建产生 这相当于每位美国人每分钟写 条Tweet 而且还是不停地写 万年 在未来十年 管理数据仓库的服务器的数量将增加 倍以便迎合 倍的大数据增长
毫无疑问 大数据将挑战企业的存储架构及数据中心基础设施等 也会引发云计算 数据仓库 数据挖掘 商业智能等应用的连锁反应 年企业会将更多的多TB( TB= GB)数据集用于商务智能和商务分析;到 年 全球数据使用量预计暴增 倍 达到 ZB( ZB= 亿TB)
大数据面临的挑战——RISC已无法满足未来的企业架构需求
对于海量的数据信息 如何对这些数据进行复杂的应用成了现今数据仓库 商业智能和数据分析技术的研究热点 数据挖掘就是从大量的数据中发现隐含的规律性的内容 解决数据的应用质量问题 充分利用有用的数据 废弃虚伪无用的数据 是数据挖掘技术的最重要的应用 传统的数据库中的数据结构性很强 即其中的数据为完全结构化的数据 而目前数据最大特点就是半结构化 因此此类数据挖掘比面向单个数据仓库的数据挖掘要复杂得多
谈到传统数据仓库的时候 大家不免就会买存储设备 选服务器 不管是IBM Power或者是Oracle架构的 这些其实都是在传统时代非常有名的数据库品牌 把它构建在一起 构成数据仓库 微软 COCNOS等都提供解决方案
但从目前来看 现有的数据仓库已经远远不能满足未来的企业大数据架构
对企业业务来说 不光要有高扩展性 而且是动态的需求 能够让设备自由扩充 不用去管数据仓库 应用具体运行在这些机器的哪一台上 这些计算能力的耗费完全是根据业务的伸缩而来的
传统的架构做这类的项目十年到二十年的时间 它们有一个特点 数据仓库的访问和传统的不同 所谓的不同就是查询特别大 查询的语句特别长 特别复杂 不像去银行的存提款只是在众多的记录中查询一两条 它符合大数据查询的特征 传统的查询索引作用非常有限 在数据库中涉及多张表的连接 同时还有汇总 算标准差等复杂的运算 但是相反它的并发请求不是很多 一个企业就是人再多 不会同时超过一千个业务分析员在分析数据
因此 在数据仓库诞生的第一天 系统一直就有一个瓶颈 要把大查询分解成小任务 这些小任务由并行的服务器来完成 我们强调小的机器要多 而不要大的机器CPU数少 因此 数据仓库天生就是MPP 开放架构的CPU加上并行扩展横向扩展数量 从这方面来看 扩展性较差 并行处理能力有限的RISC架构已经不能代表未来的企业架构
而以英特尔为代表的X 处理器天生就是为大数据应用而生 Oracle推出的Exadata数据仓库服务器采用了英特尔至强(Nehalem)处理器 DDR 内存和 Gbps InfiniBand Exadata数据库机第二版的CPU 内存和网络速度分别提高了 % % % 单个数据库服务器内存容量则达到了 GB 原始磁盘容量和每机架磁盘容量达到 TB TB Sun FlashFire内存卡则实现了高性能的OLTP
当大数据遭遇云计算
云计算为什么能盛行呢?在互联网领域应用系统的构建 客户群体是不确定的 系统规模不确定 系统投资不固定 业务应用有很清晰的并行分割特征 数据仓库系统的构建 数据仓库规模可估算 数据仓库的系统投资与业务分析的价值和回报相关 商业智能应用属于整体应用 Saas模式构建数据仓库系统
在大数据技术上用云计算构建下一代数据仓库成为热门话题 这当中包括大数据管理 分布式进行文件系统 如Hadoop Mapreduce数据分割与访问执行;同时SQL支持 以Hive HADOOP为代表的SQL界面支持 从系统需求来看 大数据的架构对系统提出了新的挑战
集成度更高 这意味着一个标准机箱最大限度完成特定任务 华硕不久推出的一款高密度机架式服务器RS U高度最大能采用支持 个双路计算节点 实现单机 个英特尔 系列处理器和高达总计 G内存资源
配置更合理 速度更快 存储 控制器 I/O通道 内存 CPU 网络均衡设计 针对数据仓库访问最优设计 比传统类似平台高出一个数量级以上 这方面的经典案例是数据仓库头号厂商Teradata 其采用双路Xeon六核处理器的企业级数据仓库 可轻松为数千名用户处理更复杂 更大量的工作负载 持续负载以及批负载 操作性查询 简单报表和复杂的分析 所有功能均在同一个平台上运行 与上一代产品相比 动态企业级数据仓库 的性能提高了 % 占地面积保持不变 减少了能源消耗和空间需求
整体能耗更低 同等计算任务 能耗最低
系统更加稳定可靠 能够消除各种单点故障环节 统一一个部件 器件的品质和标准
管理维护费用低 数据藏的常规管理全部集成
可规划和预见的系统扩容 升级路线图
云计算环境作为大数据处理平台
云计算环境中基本计算单元的分化
企业云计算平台上虽然有多个并行计算的CPU 但并没有创造出具有超强数据处理能力的超级CPU 因此云计算平台需要的是有并行运算能力的软件系统 同时 当所有用户的数据全部放在云端时 虽然存储容量可以很方便地扩充 但面对大量用户同时发起的海量数据处理请求 简单的数据处理逻辑已经无法满足需要
可以看到 国内有相当多的电商企业 用小型机和Oracle扛了好几年 并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机 初期发展可能很快 但是后来由于数据量激增 业务开始受到严重影响 最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件 因此他们开始逐渐放弃了Oracle或者MS SQL 并逐渐转向MySQL X 的分布式架构
目前的基本计算单元常常是普通的X 服务器 它们组成了一个大的云 而未来的云计算单元里有可能有存储单元 计算单元 协调单元 总体的效率会更高
对系统稳定性的需求
cha138/Article/program/MySQL/201405/30863相关参考
德国的污水处理目前仍以去除有机物和营养物为主要目的。自21世纪始，如何高效并可持续利用资源与能源，如何减少温室气体排放、减缓全球变暖等问题变得越来越重要。随着大环境格局的日益变化，污水处理也将面临着亟
德国的污水处理目前仍以去除有机物和营养物为主要目的。自21世纪始，如何高效并可持续利用资源与能源，如何减少温室气体排放、减缓全球变暖等问题变得越来越重要。随着大环境格局的日益变化，污水处理也将面临着亟
德国的污水处理目前仍以去除有机物和营养物为主要目的。自21世纪始，如何高效并可持续利用资源与能源，如何减少温室气体排放、减缓全球变暖等问题变得越来越重要。随着大环境格局的日益变化，污水处理也将面临着亟
我国发展面临一系列突出矛盾和挑战，前进道路上还有不少困难和问题。要破解发展中面临的难题、化解来自各方面的风险挑战，推动经
我国发展面临一系列突出矛盾和挑战，前进道路上还有不少困难和问题。要破解发展中面临的难题、化解来自各方面的风险挑战，推动经济社会持续健康发展，除了_____，别无他途。A、坚持科学发展观B、深化改革C、
开发者面临的.Net挑战[1] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 电子商务的大潮已经
开发者面临的.Net挑战[2] 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 当应用程序走上We
当前我国面临前所未有的发展机遇，同时也面临巨大挑战，各种社会矛盾凸显，这体现的哲学道理是
当前我国面临前所未有的发展机遇，同时也面临巨大挑战，各种社会矛盾凸显，这体现的哲学道理是_____。A、矛盾的普遍性B、矛盾双方可以依据一定条件转化C、矛盾的主次方面是相互联系的D、用“两点论”和“重
知识大全 我国周边安全环境面临哪些主要威胁与挑战，请结合实际阐述你的感想
我国周边安全环境面临哪些主要威胁与挑战，请结合实际阐述你的感想？1000字论文。东边有日本，南边有东南亚各国存在岛屿争端，比如菲律宾、印度等，我国周边安全环境面临哪些主要威胁与挑战，写感想（军事理论论
让脂肪肝悄然而“瘦”中国卫生部近日公布的2006年城乡居民主要死亡原因，恶性肿瘤位列第一。与2005年相比，恶性肿瘤的死亡率及所占比例有所上升，2005年美国癌症学会的统计表明中国人癌症发病率处于世界
《会计改革与发展“十四五”规划纲要》提出，会计作为（ ）和（ ）的基础性工作，在我国全面深化改革和深度融入经济全球化的进程中，面临难得的发展机遇，同时也面临着诸多挑战。
会计改革与发展十四五规划题目：《会计改革与发展“十四五”规划纲要》提出，会计作为（）和（）的基础性工作，在我国全面深化改革和深度融入经济全球化的进程中，面临难得的发展机遇，同时也面临着诸多挑战。A、宏