知识大全 将文件导入到数据库中的方法小结

Posted 文件

篇首语：人生要事在于树立一个伟大的目标，并决心实现它。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 将文件导入到数据库中的方法小结相关的知识，希望对你有一定的参考价值。

　　大型的数据库开发中常常遇到数据源是平面文件的情况 对于这样的数据源 无法使用数据库对其数据进行有效的管理 　　本文介绍几种常见的数据导入的方法 希望能够给读者以启迪 另外 本文所涉及到的数据库均为ORACLE数据库 其实对于其他数据库而言 方法类似 　　　　 一 Sql*:Loader　　　　该方法是Oracle数据库下数据导入的最重要的方法之一 该工具由Oracle客户端提供 其基本工作原理是 首先要针对数据源文件制作一个控制文件 控制文件是用来解释如何对源文件进行解析 其中需要包含源文件的数据格式 目标数据库的字段等信息 一个典型的控制文件为如下形式 　　　　LOAD DATA　　INFILE /ora i/fengjie/agent/data/ipaagentdetail txt 　　TRUNCATE　　INTO TABLE fj_ipa_agentdetail　　fields terminated 　　trailing nullcols　　( AGENT_NO char 　　AGENT_NAME char 　　AGENT_ADDRESS char 　　AGENT_LINKNUM char 　　AGENT_LINKMAN char　　)　　　　其中 INFILE /ora i/fengjie/agent/data/ipaagentdetail txt 指明所要导入的源文件 其实源文件也可以直接通过命令行来输入获得 fj_ipa_agentdetail为目标表的名字 fields terminated 是指源文件的各个字段是以逗号分隔 trailing nullcols表示遇到空字段依然写入到数据库表中 最后这５个字段是目标数据库表的字段结构 通过上面这个典型的控制文件的格式分析可知 控制文件需要与源文件的格式信息一致 否则导入数据会出现异常 　　　　除了控制以外 sql*loader的还需要数据文件 即源文件 根据格式的不同 源文件可以分为固定字段长度和有分隔符这两大类 这里将分别说明这两种情况 　　　　固定字段长度的文本文件　　　　就是每个字段拥有固定的字段长度 比如 　　　　 　　 　　 　　 　　 　　 　　　　有分隔符的文本文件　　　　就是每个字段都有相同的分隔符分隔 比如 　　　　 上海长途电信综合开发公司 南京东路 号 室　　 上海桦奇通讯科技有限公司 武宁路 号 室　　 上海邦正科技发展有限公司 南京东路 号 室　　　　对于上述两种文件格式sql*loader均可以做处理 下面就前面那个固定长度的文本来举例说明 　　　　由于该文本只有两个字段 一个为设备号 一个是区局编号 两者的长度分别为２０和５ 那么可以编制控制文件如下 　　　　LOAD DATA　　INFILE /ora i/fengjie/agent/data/ipaagent txt 　　TRUNCATE　　INTO TABLE fj_ipa_agent　　( DEVNO POSITION( : ) CHAR 　　BRANCH_NO POSITION( : ) CHAR　　)　　　　其中 /ora i/fengjie/agent/data/ipaagent txt 为该文件的完全路径 POSITION(M:N)表示该字段是从位置M到位置N 　　　　对于有分隔符的数据文件 前面已经有一个例子 这里就不再赘述了 总之 使用Sql*Loader能够轻松将数据文件导入到数据库中 这种方法也是最常用的方法 　　　　 二 使用专业的数据抽取工具　　　　目前在数据仓库领域中 数据抽取与装载（ETL）是一重要的技术 这一技术对于一些大的数据文件或者文件数量较多尤其适合 这里简单介绍目前一款主流的数据抽取工具――Informatica 　　　　该工具主要采用图形界面进行编程 其主要工作流程是 首先将源数据文件的结构（格式）导入为Informatica里 然后根据业务规则对该结构进行一定的转换(transformation) 最终导入到目标表中 　　　　以上过程仅仅只是做了一个从源到目标的映射 数据的实际抽取与装载需要在工作流（workflow）里进行 　　　　使用专业的数据抽取工具 可以结合业务逻辑对多个源数据进行join union insect等操作 适合于大型数据库和数据仓库 　　　　 三 使用Access工具导入　　　　可以直接在Access里选择 打开 文本文件 这样按照向导来导入一个文本文件到Access数据库中 然后使用编程的方法将其导入到最终的目标数据库中 　　　　这种方法虽然烦琐 但是其对系统的软件配置要求相对较低 所以也是有一定的使用范围 　　　　 四 小结　　　　总之 平面文件转化为数据库格式有利于数据的处理 显然 数据库强大的数据处理能力比直接进行文件I/O效率高出很多 希望本文能够对该领域做一个抛砖引玉的作用 cha138/Article/program/Oracle/201311/18530

相关参考

知识大全 如何把ADO中的数据导入到ListBox中

如何把ADO中的数据导入到ListBox中  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！ 

知识大全 用POI将Mysql数据导入到Excel中去

用POI将Mysql数据导入到Excel中去  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　在我

知识大全 将MySQL 5.0下的数据导入到MySQL 3.23中

将MySQL5.0下的数据导入到MySQL3.23中  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

知识大全 Sybase与Oracle数据库文件的互相导入

Sybase与Oracle数据库文件的互相导入  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　问

知识大全 如何向 hadoop 导入数据

如何向hadoop导入数据1.2使用Hadoopshell命令导入和导出数据到HDFS实验准备实例需要用到的数据-weblog_entries.txt在namenode创建2个文件夹用来存放实验用的数

知识大全 cmd命令行模式

　　Oracle数据导入导出imp/exp就相当于oracle数据还原与备份exp命令可以把数据从远程数据库服务器导出到本地的dmp文件imp命令可以把dmp文件从本地导入到远处的数据库服务器中利用这

知识大全 抽取spring数据库连接部分到项目中

　　用spring来管理项目的数据库部分往往比自己去写连接要容易管理的多步骤也比较简单　　项目根目录下建立conflib目录将spring相关包coop到lib中并导入建立个文件jdbcpropert

知识大全 如何将 XML 文件导入 SQL Server 2000

如何将XML文件导入SQLServer2000  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　导

知识大全 复制本地数据库中的一个表到远程数据库

　　首先将要复制的表导入到远程数据假设本地表名为hw在数据库也有一个名为hw的结构相同的表已经有了条数据　　导入成功后会新增一个表hw　　运行以下语句会复制一个表hw　　select*intohwfr

知识大全 nvarchar和varchar的转换问题

　　java编程将表中的nvarchar记录导出存储到xml文件中利用xdk的函数导出后发现xml文件中存储的表中的nvarchar字段中的中文变成了二进制码再将xml文件导入时报错所以我想将nvar