知识大全 Hibernate的批量处理

Posted 2022-07-18 操作

篇首语：不要以为你的努力可以一劳永逸，权当做你始终一无所有。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 Hibernate的批量处理相关的知识，希望对你有一定的参考价值。

Hibernate的批量处理 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

　　Hibernate批量处理其实从性能上考虑它是很不可取的浪费了很大的内存从它的机制上讲 Hibernate它是先把符合条件的数据查出来放到内存当中然后再进行操作实际使用下来性能非常不理想在笔者的实际使用中采用下面的第三种优化方案的数据是条数据插入数据库主流台式机的配置需要约分钟呵呵晕倒

　　总结下来有三种来处理以解决性能问题

　　绕过Hibernate API 直接通过 JDBC API 来做这个方法性能上是比较好的也是最快的

　　运用存储过程

　　还是用Hibernate API 来进行常规的批量处理可以也有变变就变在我们可以在查找出一定的量的时候及时的将这些数据做完操作就

　　删掉 session flush（） session evict（XX对象集）这样也可以挽救一点性能损失这个一定的量要就要根据实际情况做定量参考了一般为左右但效果仍然不理想

　　绕过Hibernate API 直接通过 JDBC API 来做这个方法性能上是比较好的也是最快的（实例为更新操作）

　　Transaction tx=session beginTransaction（） //注意用的是hibernate事务处理边界

　　Connection conn=nnection（）

　　PreparedStatement stmt=conn preparedStatement（ update CUSTOMER as C set C sarlary=c sarlary+ where c sarlary> ）

　　stmt excuteUpdate（）

　　mit（） //注意用的是hibernate事务处理边界

　　这小程序中采用的是直接调用JDBC 的API 来访问数据库效率很高避免了Hibernate 先查询出来加载到内存再进行操作引发的性能问题

　　运用存储过程但这种方式考虑到易植和程序部署的方便性不建议使用（实例为更新操作）

　　如果底层数据库（如Oracle）支持存储过程也可以通过存储过程来执行批量更新存储过程直接在数据库中运行速度更加快在Oracle数

　　据库中可以定义一个名为batchUpdateCustomer（）的存储过程代码如下

　　代码内容create or replace procedure batchUpdateCustomer（p_age in number） as begin update CUSTOMERS set AGE=AGE+ where AGE>p_age end

　　以上存储过程有一个参数p_age 代表客户的年龄应用程序可按照以下方式调用存储过程

　　代码内容

　　tx = session beginTransaction（）

　　Connection con=nnection（）

　　String procedure = call batchUpdateCustomer（？）

　　CallableStatement cstmt = con prepareCall（procedure）

　　cstmt setInt（） //把年龄参数设为

　　cstmt executeUpdate（）

　　mit（）

　　从上面程序看出应用程序也必须绕过Hibernate API 直接通过JDBC API来调用存储过程

　　还是用Hibernate API 来进行常规的批量处理可以也有变变就变在我们可以在查找出一定的量的时候及时的将这些数据做完操作就

　　删掉 session flush（） session evict（XX对象集）这样也可以挽救一点性能损失这个一定的量要就要根据实际情况做定量参考了……

　　（实例为保存操作）

　　业务逻辑为我们要想数据库插入条数据

　　tx=session beginTransaction（）

　　for（int i= i< i++）

　　Customer custom=new Customer（）

　　custom setName（ user +i）

　　session save（custom）

　　if（i% == ） // 以每个数据作为一个处理单元也就是我上面说的一定的量这个量是要酌情考虑的

　　session flush（）

　　session clear（）

　　这样可以把系统维持在一个稳定的范围……

　　在项目的开发过程之中由于项目需求我们常常需要把大批量的数据插入到数据库数量级有万级十万级百万级甚至千万级别的如此数量级别的数据用Hibernate做插入操作就可能会发生异常常见的异常是OutOfMemoryError（内存溢出异常）

　　首先我们简单来回顾一下Hibernate插入操作的机制 Hibernate要对它内部缓存进行维护当我们执行插入操作时就会把要操作的对象全部放到自身的内部缓存来进行管理

　　谈到Hibernate的缓存 Hibernate有内部缓存与二级缓存之说由于Hibernate对这两种缓存有着不同的管理机制对于二级缓存我们可以对它的大小进行相关配置而对于内部缓存 Hibernate就采取了放任自流的态度了对它的容量并没有限制现在症结找到了我们做海量数据插入的时候生成这么多的对象就会被纳入内部缓存（内部缓存是在内存中做缓存的）这样你的系统内存就会一点一点的被蚕食如果最后系统被挤炸了也就在情理之中了

　　我们想想如何较好的处理这个问题呢？有的开发条件又必须使用Hibernate来处理当然有的项目比较灵活可以去寻求其他的方法

　　笔者在这里推荐两种方法（）优化Hibernate 程序上采用分段插入及时清除缓存的方法

　　（）绕过Hibernate API 直接通过 JDBC API 来做批量插入这个方法性能上是最好的也是最快的

　　对于上述中的方法其基本是思路为优化Hibernate 在配置文件中设置hibernate jdbc batch_size参数来指定每次提交SQL的数量程序上采用分段插入及时清除缓存的方法（Session实现了异步write behind 它允许Hibernate显式地写操作的批处理）也就是每插入一定量的数据后及时的把它们从内部缓存中清除掉释放占用的内存

　　设置hibernate jdbc batch_size参数可参考如下配置

　　<hibernate configuration> <session factory>……

　　<property name= hibernate jdbc batch_size > </property>……

　　配置hibernate jdbc batch_size参数的原因就是尽量少读数据库 hibernate jdbc batch_size参数值越大读数据库的次数越少速度越快从上面的配置可以看出 Hibernate是等到程序积累到了个SQL之后再批量提交

　　笔者也在想 hibernate jdbc batch_size参数值也可能不是设置得越大越好从性能角度上讲还有待商榷这要考虑实际情况酌情设置一般情形设置就可以满足需求了

　　程序实现方面笔者以插入条数据为例子如

　　Session session=HibernateUtil currentSession（）

　　Transatcion tx=session beginTransaction（）

　　for（int i= i< i++）

　　Student st=new Student（）

　　st setName（ feifei ）

　　session save（st）

　　if（i% == ） //以每个数据作为一个处理单元

　　session flush（） //保持与数据库数据的同步

　　session clear（） //清除内部缓存的全部数据及时释放出占用的内存

　　mit（）

　　……

　　在一定的数据规模下这种做法可以把系统内存资源维持在一个相对稳定的范围

　　注意前面提到二级缓存笔者在这里有必要再提一下如果启用了二级缓存从机制上讲Hibernate为了维护二级缓存我们在做插入更新删除操作时 Hibernate都会往二级缓存充入相应的数据性能上就会有很大损失所以笔者建议在批处理情况下禁用二级缓存

　　对于方法采用传统的JDBC的批处理使用JDBC API来处理

　　些方法请参照java 批处理自执行SQL

　　看看上面的代码是不是总觉得有不妥的地方？对没发现么！这还是JDBC的传统编程没有一点Hibernate味道

　　可以对以上的代码修改成下面这样

　　Transaction tx=session beginTransaction（） //使用Hibernate事务处理

　　边界Connection conn=nnection（）

　　PrepareStatement stmt=conn prepareStatement（ insert into T_STUDENT（name） values（？））

　　for（int j= j++ j< ）

　　for（int i= i++ j< ）

　　stmt setString（ feifei ）

　　stmt executeUpdate（）

　　mit（） //使用 Hibernate事务处理边界

　　……

　　这样改动就很有Hibernate的味道了笔者经过测试采用JDBC API来做批量处理性能上比使用Hibernate API要高将近倍性能上JDBC 占优这是无疑的

　　批量更新与删除

　　Hibernate 中对于批量更新操作 Hibernate是将符合要求的数据查出来然后再做更新操作批量删除也是这样先把符合条件的数据查出来然后再做删除操作

　　这样有两个大缺点（）占用大量的内存

　　（）处理海量数据的时候执行update/delete语句就是海量了而且一条update/delete语句只能操作一个对象这样频繁的操作数据库性能低下应该是可想而知的了

　　Hibernate 发布后对批量更新/删除操作引入了bulk update/delete 其原理就是通过一条HQL语句完成批量更新/删除操作很类似JDBC的批量更新/删除操作在性能上比Hibernate 的批量更新/删除有很大的提升

　　Transaction tx=session beginSession（）

　　String HQL= delete STUDENT

　　Query query=session createQuery（HQL）

　　int size=query executeUpdate（）

　　mit（）

　　……

　　控制台输出了也就一条删除语句Hibernate delete from T_STUDENT 语句执行少了性能上也与使用JDBC相差无几是一个提升性能很好的方法当然为了有更好的性能笔者建议批量更新与删除操作还是使用JDBC 方法以及基本的知识点与上面的批量插入方法基本相同这里就不在冗述

　　笔者这里再提供一个方法就是从数据库端来考虑提升性能在Hibernate程序端调用存储过程存储过程在数据库端运行速度更快以批量更新为例给出参考代码

　　首先在数据库端建立名为batchUpdateStudent存储过程

　　create or replace produre batchUpdateStudent（a in number） as

　　begin

　　update STUDENT set AGE=AGE+ where AGE>a

　　end

　　调用代码如下

　　Transaction tx=session beginSession（）

　　Connection conn=nnection（）

　　String pd= ……call batchUpdateStudent（？）

　　CallableStatement cstmt=conn PrepareCall（pd）

　　cstmt setInt（） //把年龄这个参数设为

　　mit（）

　　观察上面的代码也是绕过Hibernate API 使用 JDBC API来调用存储过程使用的还是Hibernate的事务边界存储过程无疑是提高批量处理性能的一个好方法直接运行与数据库端某种程度上讲把批处理的压力转接给了数据库

　　三编后语

　　本文探讨了Hibernate的批处理操作出发点都是在提高性能上考虑了也只是提供了提升性能的一个小方面

cha138/Article/program/Java/ky/201311/28885