jodconvert与MQ构建异步处理文档的demo
原创者:文思
闲话少说,直接上干货。
应用背景:
针对一些有价值文档的处理使用,怎么保护内容不被盗用与扩散,是互联网应用中常遇到的一种情景,一般两种思路:
1、服务器端进行加密,然后客户端本地解密或者调用服务器进行解密后再浏览或者下载。
缺点:在线加解密效率低,有延时,无法解决客户端人为录屏获取资料的行为。
2、将文档转换成pdf并且加载产权水印,用户在线预览不允许下载。可以避免在线解密的效率问题与客户端录屏问题。
一、各种文档转换成pdf的工具选择:
jacob与jodconvert
前者只支持windows环境下word,ppt,excel,txt等文件的pdf转换
后者windows和linux都支持。
从在windows上的执行效率上来说,jacob略高于jodconvert。
二、使用jacob的demo
1、设置处理线程队列及数量,根据文档类型跳转到不同转换方法中
![](https://img.haomeiwen.com/i6051902/47cc9dfb8d946343.png)
文档转换工具类,wordQueue为文档的服务线程处理调度器队列,根据需求的应用场景有可能的并发性来设置大小,与MQ机制类似。WORDSIZE为设置的文档处理最大线程数量,即wordQueue的容量,当一个请求来到时,wordQueue中处理线程为空时,进行创建服务处理线程调度器,并放入到wordQueue队列中。
2、具体的文档转换pdf的处理方法,两大步:2.1获取处理调度器getWordDoc(), 2.2处理文档开始Dispatch.call(...)
2.1
![](https://img.haomeiwen.com/i6051902/7bf7ec432853c776.png)
其中获取调度器getWordDoc分两步:1startAllWord创建调度器并加入队列中,2队列中取第一个调度器,如下两个图:
![](https://img.haomeiwen.com/i6051902/bc86bbdf8802c4c8.png)
startAllWord()创建好3个处理调度并放入wordQueue队列后,将从wordQueue中取第一个处理调度。其中创建调度的startAllWord()程序如下:
![](https://img.haomeiwen.com/i6051902/a9b5c153094457c4.png)
总结描述:如果服务线程调度程序在队列中没有,最上面已经把队列容量调度器线程设置为了3,则创建3个处理调度器并加入到队列中,并wordQueue.poll()获取并移除此队列的头(即拿到队列中的第一个调度器)。
2.2
![](https://img.haomeiwen.com/i6051902/663964cf33224b8a.png)
三、使用jodconvert的demo
大戏开始:
convert2.2(com)与3.1(org)版本的比较:
![](https://img.haomeiwen.com/i6051902/80e25a609b4bffb2.png)
通过上面的对比,除了org支持更多格式之外在速度上没有优势,并且转换出来的文字清晰度比com低了一点点。还有org即3.1版本吧支持office2007,而2.1comg只支持到2003.具体看两个版本的DefaultDocumentFormatRegistry类的源码。
代码编写:
3.1mq消息获取,调用文档转换前的消息业务处理:
![](https://img.haomeiwen.com/i6051902/d113ed6977c9243d.png)
![](https://img.haomeiwen.com/i6051902/9db4842c8c4d1309.png)
3.2获取文件,并进行文档转换:
![](https://img.haomeiwen.com/i6051902/7b42357c6a79764d.png)
#oss配置
oss.accessKeyId=********
oss.secretAccessKey=********
oss.endpoint=********
oss.bucketName=pbu-private
![](https://img.haomeiwen.com/i6051902/999c7e06c7820f65.png)
![](https://img.haomeiwen.com/i6051902/54847f9f9ea4655a.png)
![](https://img.haomeiwen.com/i6051902/069bc42f9a21cbbc.png)
3.3编写获取文档处理转换器的连接池文件OfficeDocumentConverter converter = OpenOfficePool.getConvertSingle();
![](https://img.haomeiwen.com/i6051902/6220d0f09699b834.png)
以上是启动1个端口1个openoffice服务。以下是启动多个端口多个openoffice服务,建议使用以下:
![](https://img.haomeiwen.com/i6051902/8bd0e29f0a079769.png)
设置全局OfficeManager,如果为空,则启动openoffice程序并新建返回一个OfficeManager。
startAll:启动openoffice程序并新建返回一个OfficeManager
getConvert:调用者
---------------------------------------------------------
openoffice配置:
#openOffice信息
office.service=http://10.10.16.146
#office.home=D:\\OpenOffice 4\\OpenOffice 4\\
office.home=/opt/openoffice4/
#起始端口
office.port=8100
#端口启动增量
office.portsize=10
#失败补偿次数
office.converttimes=3
3.4通过其它外部微服务接口调用回写转换后的结果给消息发送方:
![](https://img.haomeiwen.com/i6051902/83dda7871e1051f5.png)
以上是程序部分,以下是发布过程中遇到的小坑及填坑:
程序无法启动openoffice服务
![](https://img.haomeiwen.com/i6051902/215202b941fb61e8.png)
![](https://img.haomeiwen.com/i6051902/626e2a1024d8ecf6.png)
使用jodconverter-core将文档转pdf还需要commons-io包
根据其它错误提示发现百度:http://blog.csdn.net/zhizaibide1987/article/details/30035723
![](https://img.haomeiwen.com/i6051902/92a2e6ff75eecccc.png)
还需要juh、jurt、unoil、ridl这4个包。添加后然后程序仍然无法启动office后,尝试手工在服务器上启动:
![](https://img.haomeiwen.com/i6051902/5749552551f20e3e.png)
报: no suitable windowing system found, exiting.错误.
百度:http://blog.csdn.net/cuker919/article/details/46389449
![](https://img.haomeiwen.com/i6051902/59954fdee6020c8e.png)
安装X Window System:yum groupinstall "X Window System"
![](https://img.haomeiwen.com/i6051902/fc223b54d1ef0340.png)
安装成功后启动
![](https://img.haomeiwen.com/i6051902/bb58c8c8411d7c54.png)
启动成功。关闭此进程后程序调用启动并转pdf成功
注意一点:使用boot的MQ接收处理时,一定要捕获异常且将当前mq消息,变自动应答为手工(即程序处理干预)应答,且放在消息队列的最后面,否则对消息的业务处理失败后mq的机制会重新拿起这条消息放到队列的最前面再次执行,这样就形成了:队列第一条消息执行-->业务处理失败-->放到消息队列最前面第一条-->再执行-->再失败-->再放到队列最前面第一条里,这样无限下去死循环,从而引发消息阻塞,业务中断,所以大家一定要注意,才catch中捕获异常并放在消息队列的最后面,具体
![](https://img.haomeiwen.com/i6051902/1b2f58cf7447c9a7.png)