Files
Arbitrate-Backend/ruoyi-system/src/main/java/com/ruoyi/wisdomarbitrate/utils/OCRUtils.java
T

389 lines
24 KiB
Java
Raw Normal View History

2023-11-27 17:28:37 +08:00
package com.ruoyi.wisdomarbitrate.utils;
2023-12-07 09:29:33 +08:00
import cn.hutool.core.collection.CollectionUtil;
import cn.hutool.core.util.StrUtil;
2023-12-04 17:08:39 +08:00
import com.ruoyi.common.constant.Constants;
2023-12-07 09:29:33 +08:00
import com.ruoyi.common.exception.ServiceException;
import com.ruoyi.common.utils.StringUtils;
2023-12-07 09:29:33 +08:00
import com.ruoyi.wisdomarbitrate.domain.FatchRule;
2023-11-27 17:28:37 +08:00
import com.tencentcloudapi.bsca.v20210811.models.LicenseSummary;
import com.tencentcloudapi.common.Credential;
import com.tencentcloudapi.common.exception.TencentCloudSDKException;
import com.tencentcloudapi.common.profile.ClientProfile;
import com.tencentcloudapi.common.profile.HttpProfile;
import com.tencentcloudapi.ocr.v20181119.OcrClient;
2023-12-07 09:29:33 +08:00
import com.tencentcloudapi.ocr.v20181119.models.*;
2023-11-27 17:28:37 +08:00
import org.json.JSONArray;
import org.json.JSONObject;
2023-11-28 15:34:58 +08:00
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
2023-12-07 09:29:33 +08:00
import java.util.*;
import java.util.stream.Collectors;
2023-11-27 17:28:37 +08:00
public class OCRUtils {
//API的SecretId
private static final String SECRET_ID = "AKIDeEf2A8uX1HSainvvnXAc3X9ZlhtyvkMp";
//API的SecretKey
private static final String SECRET_KEY = "QjphKo8zkHZigT8j9PVtFPJyfIvO3d6V";
2023-12-04 17:08:39 +08:00
// 仲裁申请书识别字段
private static final String[] applicantName = {"申请人", "统一社会信用代码", "负责人", "住所", "联系地址"
, "委托代理人", "联系电话", "电子邮件", "被申请人", "居民身份证号码", "仲裁请求", "事实和理由"};
// 贷款合同识别字段
private static final String[] contractName = {
2023-12-09 14:19:53 +08:00
"合同编号", "甲方(贷款人)", "或委托代理人签字:", "本合同的初始贷款年利率为", "乙方确认有效的电子信箱地址为"};
2023-12-04 17:08:39 +08:00
// 调解协议识别字段
2023-12-09 14:19:53 +08:00
private static final String[] accordName = {"金融消费纠纷基本情况", "经调解,双方自愿达成如下协议"};
2023-12-04 17:08:39 +08:00
// 授权委托书识别字段
private static final String[] powerAttorneyName = {"职务"};
2023-12-09 14:19:53 +08:00
2023-12-07 09:29:33 +08:00
/**
* pdf识别成文字
2023-12-09 14:19:53 +08:00
*
2023-12-07 09:29:33 +08:00
* @param imageBase64
* @param pageNumber
2023-12-09 14:19:53 +08:00
* @param fatchRules 抓取规则
2023-12-07 09:29:33 +08:00
* @return
*/
public static String pdfIdentifyText(String imageBase64, Integer pageNumber, List<FatchRule> fatchRules) {
2023-12-09 14:19:53 +08:00
StringBuilder respStr = new StringBuilder();
2023-12-07 09:29:33 +08:00
try {
// 实例化一个认证对象,入参需要传入腾讯云账户 SecretId 和 SecretKey,此处还需注意密钥对的保密
// 代码泄露可能会导致 SecretId 和 SecretKey 泄露,并威胁账号下所有资源的安全性。以下代码示例仅供参考,建议采用更安全的方式来使用密钥,请参见:https://cloud.tencent.com/document/product/1278/85305
// 密钥可前往官网控制台 https://console.cloud.tencent.com/cam/capi 进行获取
Credential cred = new Credential(SECRET_ID, SECRET_KEY);
// 实例化一个http选项,可选的,没有特殊需求可以跳过
HttpProfile httpProfile = new HttpProfile();
httpProfile.setEndpoint("ocr.tencentcloudapi.com");
// 实例化一个client选项,可选的,没有特殊需求可以跳过
ClientProfile clientProfile = new ClientProfile();
clientProfile.setHttpProfile(httpProfile);
// 实例化要请求产品的client对象,clientProfile是可选的
OcrClient client = new OcrClient(cred, "ap-beijing", clientProfile);
// 实例化一个请求对象,每个接口都会对应一个request对象
GeneralAccurateOCRRequest req = new GeneralAccurateOCRRequest();
req.setImageBase64(imageBase64);
req.setIsPdf(true);
req.setPdfPageNumber(pageNumber.longValue());
// 返回的resp是一个SmartStructuralOCRV2Response的实例,与请求对象对应
GeneralAccurateOCRResponse resp = client.GeneralAccurateOCR(req);
// 输出json格式的字符串回包
System.out.println(GeneralAccurateOCRResponse.toJsonString(resp));
// 获取响应内容
TextDetection[] textDetections = resp.getTextDetections();
if (textDetections == null || textDetections.length == 0) {
return respStr.toString();
}
for (TextDetection textDetection : textDetections) {
respStr.append(textDetection.getDetectedText());
}
2023-12-09 14:19:53 +08:00
} catch (TencentCloudSDKException e) {
2023-12-07 09:29:33 +08:00
throw new ServiceException("ocr识别失败");
}
2023-12-09 14:19:53 +08:00
if (respStr.toString().endsWith(String.valueOf(pageNumber))) {
2023-12-07 09:29:33 +08:00
int lastIndexOf = respStr.toString().lastIndexOf(String.valueOf(pageNumber));
2023-12-09 14:19:53 +08:00
return respStr.toString().substring(0, lastIndexOf);
2023-12-07 09:29:33 +08:00
}
return respStr.toString();
2023-11-27 17:28:37 +08:00
2023-12-04 17:08:39 +08:00
2023-12-07 09:29:33 +08:00
//
// //解析数据
// String s = GeneralAccurateOCRResponse.toJsonString(resp);
// // 解析JSON数据
// JSONObject jsonObject = new JSONObject(s);
// JSONArray structuralList = jsonObject.getJSONArray("TextDetections");
// // 遍历StructuralList中的Groups,获取Key对应的AutoName和Value对应的AutoConten
// StringBuilder stringBuilder = new StringBuilder(); // 创建一个StringBuilder对象
// for (int i = 0; i < structuralList.length(); i++) {
// JSONArray groups = structuralList.getJSONObject(i).getJSONArray("Groups");
// for (int j = 0; j < groups.length(); j++) {
// JSONArray lines = groups.getJSONObject(j).getJSONArray("Lines");
// for (int k = 0; k < lines.length(); k++) {
// JSONObject line = lines.getJSONObject(k);
// JSONObject key = line.getJSONObject("Key");
// JSONObject value = line.getJSONObject("Value");
// String autoName = key.getString("AutoName");
// String autoContent = value.getString("AutoContent");
// String text = autoName + Constants.PDFSTR + autoContent;
// if (stringBuilder.length() > 0) {
// stringBuilder.append(Constants.BR); // 在已有内容的情况下添加逗号分隔符
// }
// stringBuilder.append(text); // 拼接当前的字符串
// }
// }
// }
// return stringBuilder.toString(); // 获取最终的拼接结果
// } catch (TencentCloudSDKException e) {
// System.out.println(e.toString());
// }
}
2023-12-04 17:08:39 +08:00
/**
* pdf识别成文字
2023-12-09 14:19:53 +08:00
*
2023-12-04 17:08:39 +08:00
* @param imageBase64
* @param pageNumber
2023-12-09 14:19:53 +08:00
* @param type pdf类型
2023-12-04 17:08:39 +08:00
* @return
*/
2023-12-09 14:19:53 +08:00
public static String pdfIdentifyText1(String imageBase64, Integer pageNumber, String type) {
2023-11-27 17:28:37 +08:00
try {
// 实例化一个认证对象,入参需要传入腾讯云账户 SecretId 和 SecretKey,此处还需注意密钥对的保密
// 代码泄露可能会导致 SecretId 和 SecretKey 泄露,并威胁账号下所有资源的安全性。以下代码示例仅供参考,建议采用更安全的方式来使用密钥,请参见:https://cloud.tencent.com/document/product/1278/85305
// 密钥可前往官网控制台 https://console.cloud.tencent.com/cam/capi 进行获取
Credential cred = new Credential(SECRET_ID, SECRET_KEY);
// 实例化一个http选项,可选的,没有特殊需求可以跳过
HttpProfile httpProfile = new HttpProfile();
httpProfile.setEndpoint("ocr.tencentcloudapi.com");
// 实例化一个client选项,可选的,没有特殊需求可以跳过
ClientProfile clientProfile = new ClientProfile();
clientProfile.setHttpProfile(httpProfile);
// 实例化要请求产品的client对象,clientProfile是可选的
OcrClient client = new OcrClient(cred, "ap-beijing", clientProfile);
// 实例化一个请求对象,每个接口都会对应一个request对象
SmartStructuralOCRV2Request req = new SmartStructuralOCRV2Request();
2023-11-28 15:34:58 +08:00
req.setImageBase64(imageBase64);
2023-11-27 17:28:37 +08:00
req.setIsPdf(true);
2023-11-28 15:34:58 +08:00
req.setPdfPageNumber(pageNumber.longValue());
2023-12-09 14:19:53 +08:00
if (type.contains("申请书")) {
2023-12-04 17:08:39 +08:00
req.setItemNames(applicantName);
2023-12-09 14:19:53 +08:00
} else if (type.contains("调解协议")) {
2023-12-05 15:16:29 +08:00
req.setItemNames(accordName);
2023-12-09 14:19:53 +08:00
} else if (type.contains("合同")) {
2023-12-04 17:08:39 +08:00
req.setItemNames(contractName);
2023-12-09 14:19:53 +08:00
} else if (type.contains("授权委托书")) {
2023-12-04 17:08:39 +08:00
req.setItemNames(powerAttorneyName);
}
2023-11-27 17:28:37 +08:00
// 返回的resp是一个SmartStructuralOCRV2Response的实例,与请求对象对应
SmartStructuralOCRV2Response resp = client.SmartStructuralOCRV2(req);
// 输出json格式的字符串回包
System.out.println(SmartStructuralOCRV2Response.toJsonString(resp));
//解析数据
String s = SmartStructuralOCRV2Response.toJsonString(resp);
// 解析JSON数据
JSONObject jsonObject = new JSONObject(s);
JSONArray structuralList = jsonObject.getJSONArray("StructuralList");
// 遍历StructuralList中的Groups,获取Key对应的AutoName和Value对应的AutoConten
StringBuilder stringBuilder = new StringBuilder(); // 创建一个StringBuilder对象
for (int i = 0; i < structuralList.length(); i++) {
JSONArray groups = structuralList.getJSONObject(i).getJSONArray("Groups");
for (int j = 0; j < groups.length(); j++) {
JSONArray lines = groups.getJSONObject(j).getJSONArray("Lines");
for (int k = 0; k < lines.length(); k++) {
JSONObject line = lines.getJSONObject(k);
JSONObject key = line.getJSONObject("Key");
JSONObject value = line.getJSONObject("Value");
String autoName = key.getString("AutoName");
String autoContent = value.getString("AutoContent");
2023-12-04 17:08:39 +08:00
String text = autoName + Constants.PDFSTR + autoContent;
2023-11-27 17:28:37 +08:00
if (stringBuilder.length() > 0) {
2023-12-04 17:08:39 +08:00
stringBuilder.append(Constants.BR); // 在已有内容的情况下添加逗号分隔符
2023-11-27 17:28:37 +08:00
}
stringBuilder.append(text); // 拼接当前的字符串
}
}
}
return stringBuilder.toString(); // 获取最终的拼接结果
} catch (TencentCloudSDKException e) {
System.out.println(e.toString());
}
return null;
}
2023-12-09 14:19:53 +08:00
public static String pdfConvertBase64(String pathUrl) {
2023-11-28 15:34:58 +08:00
try {
File file = new File(pathUrl);
FileInputStream fileInputStream = new FileInputStream(file);
byte[] fileBytes = new byte[(int) file.length()];
fileInputStream.read(fileBytes);
fileInputStream.close();
// 将字节数组转换为Base64值
return Base64.getEncoder().encodeToString(fileBytes);
} catch (IOException e) {
e.printStackTrace();
2023-11-27 17:28:37 +08:00
}
2023-11-28 15:34:58 +08:00
return null;
2023-11-27 17:28:37 +08:00
}
2023-11-28 15:34:58 +08:00
2023-12-07 09:29:33 +08:00
/**
* 根据抓取规则获取内容
2023-12-09 14:19:53 +08:00
*
* @param ocrText ocr识别的text
2023-12-07 09:29:33 +08:00
* @param fatchRules 抓取规则
* @return
*/
public static void fatchRuleGetContent(String ocrText, List<FatchRule> fatchRules, Map<String, String> fatchMap) {
2023-12-09 14:19:53 +08:00
String text = ocrText;
2023-12-07 09:29:33 +08:00
if (CollectionUtil.isNotEmpty(fatchRules)) {
for (FatchRule fatchRule : fatchRules) {
2023-12-09 14:19:53 +08:00
// 从后往前抓取
if (fatchRule.getFatchOrder() != null && fatchRule.getFatchOrder() == 1) {
2023-12-09 20:48:16 +08:00
String reverseText = StrUtil.reverse(ocrText);
if (StrUtil.isEmpty(fatchRule.getStartContent()) && StrUtil.isEmpty(fatchRule.getEndContent())) {
fatchMap.put(fatchRule.getColumnName(), trimStr(text));
} else if(StrUtil.isEmpty(fatchRule.getStartContent())&&StrUtil.isNotEmpty(fatchRule.getEndContent())) {
// 开始字段为空,结束字段不为空
String endReverseText = StrUtil.reverse(fatchRule.getEndContent());
int endContIndex = StrUtil.ordinalIndexOf(reverseText, endReverseText, fatchRule.getEndContentRepeatOrder());
if (endContIndex != -1) {
String substring = text.substring(0, endContIndex);
fatchMap.put(fatchRule.getColumnName(), trimStr(StrUtil.reverse(substring)));
}
}
2023-12-09 14:19:53 +08:00
//
//
// }else if(StrUtil.isNotEmpty(fatchRule.getStartContent())&&StrUtil.isEmpty(fatchRule.getEndContent())){
// // 开始字段不为空,结束字段为空
// // 开始字段为空,结束字段不为空
// String startReverseText = StrUtil.reverse(fatchRule.getStartContent());
// int startContIndex = StrUtil.ordinalIndexOf(reverseText, startReverseText, fatchRule.getStartContentRepeatOrder());
// if (startContIndex != -1) {
// String substring = text.substring(0, startContIndex);
// fatchMap.put(fatchRule.getColumnName(), trimStr(StrUtil.reverse(substring)));
// }
//
// }else if(StrUtil.isNotEmpty(fatchRule.getStartContent())&&StrUtil.isNotEmpty(fatchRule.getEndContent())){
// String startReverseText = StrUtil.reverse(fatchRule.getStartContent());
// String endReverseText = StrUtil.reverse(fatchRule.getEndContent());
// int startContIndex = StrUtil.ordinalIndexOf(reverseText, startReverseText, fatchRule.getStartContentRepeatOrder());
// if (startContIndex != -1) {
// // 结束字段不为空
// int endContIndex = StrUtil.ordinalIndexOf(reverseText, endReverseText, fatchRule.getEndContentRepeatOrder());
// if (endContIndex != -1 && (startContIndex + fatchRule.getStartContent().length()) <= text.length()) {
// String substring = text.substring(startContIndex + fatchRule.getStartContent().length(), endContIndex);
// // 去除\n
// fatchMap.put(fatchRule.getColumnName(),trimStr(StrUtil.reverse(substring)));
// }
// }
// }
} else {
// 开始为空结束为空
if (StrUtil.isEmpty(fatchRule.getStartContent()) && StrUtil.isEmpty(fatchRule.getEndContent())) {
fatchMap.put(fatchRule.getColumnName(), trimStr(text));
} else if (StrUtil.isNotEmpty(fatchRule.getStartContent())) {
int startContIndex = StrUtil.ordinalIndexOf(text, fatchRule.getStartContent(), fatchRule.getStartContentRepeatOrder());
if (startContIndex != -1) {
// 开始不为空结束为空
if (StrUtil.isEmpty(fatchRule.getEndContent())) {
if ((startContIndex + fatchRule.getStartContent().length()) <= text.length()) {
String substring = text.substring(startContIndex + fatchRule.getStartContent().length());
// 去除\n
fatchMap.put(fatchRule.getColumnName(), trimStr(substring));
}
2023-12-07 09:29:33 +08:00
2023-12-09 14:19:53 +08:00
} else {
// 开始不为空结束不为空
int endContIndex = StrUtil.ordinalIndexOf(text, fatchRule.getEndContent(), fatchRule.getEndContentRepeatOrder());
2023-12-09 20:48:16 +08:00
if (endContIndex != -1 && (startContIndex + fatchRule.getStartContent().length()) <= text.length()&&(startContIndex + fatchRule.getStartContent().length())<=endContIndex ) {
2023-12-09 14:19:53 +08:00
String substring = text.substring(startContIndex + fatchRule.getStartContent().length(), endContIndex);
// 去除\n
fatchMap.put(fatchRule.getColumnName(), trimStr(substring));
}
2023-12-09 14:19:53 +08:00
}
//
}
} else if (StrUtil.isEmpty(fatchRule.getStartContent()) && StrUtil.isNotEmpty(fatchRule.getEndContent())) {
// 开始为空结束不为空
int endContIndex = StrUtil.ordinalIndexOf(text, fatchRule.getEndContent(), fatchRule.getEndContentRepeatOrder());
if (endContIndex != -1) {
String substring = text.substring(0, endContIndex);
fatchMap.put(fatchRule.getColumnName(), trimStr(substring));
}
2023-12-07 09:29:33 +08:00
}
}
}
}
2023-12-07 09:29:33 +08:00
}
2023-12-09 14:19:53 +08:00
/**
* 去除末尾空格
*
* @param substring
* @return
*/
private static String trimStr(String substring) {
if (StrUtil.isNotEmpty(substring)) {
return StrUtil.trim(substring);
} else {
return "";
}
}
2023-12-09 20:48:16 +08:00
public static void main(String[] args) {
String text="和 解 协 议\n" +
"\n" +
"\n" +
"甲方:上海维信荟智金融科技有限公司\n" +
"地址:上海市虹口区乍浦路89号办公楼1幢2801室\n" +
"电子邮箱【shaoyijie01@vcredit.com】\n" +
"\n" +
"乙方:【马旭】\n" +
"地址:【重庆市城口县蓼子乡长元路109号】\n" +
"手机号:【13585580076】\n" +
"身份证号:【500229198908244338】\n" +
"电子邮箱:【feiwen@vcredit.com】\n" +
"\n" +
"鉴于:\n" +
"乙方于【2023】年【3】月【1】日至【2023】年【4】月【26】日通过甲方旗下平台申请总计【2】笔贷款,本金合计【18000】元。乙方已于2023年4月31日结清上述2笔贷款。2023年10月6日,乙方称其对上述2笔贷款的担保合同、担保咨询服务合同(个人贷款委托担保合同:DD181b16j22010315099-1、担保服务合同:DD18qe30023020066644-1、担保咨询服务合同:DD18qe30023020066644-7)中约定的担保费、担保服务费不知情,向甲方要求退还上述担保费、担保服务费。甲方认为甲乙双方之间的上述合同真实有效,其中明确约定了上述担保费、担保服务费。双方因此产生纠纷。现甲方出于业务考虑,同意乙方履行保密义务的前提下,甲方给予特殊和解方案;乙方确认其充分知晓并理解本《和解协议》(下称“本协议”)中全部条款的实质含义及其相应的法律后果,并基于此种理解,履行相应义务,签署本协议。本协议于签署当日生效,对甲、乙双方具有同等法律拘束力。\n" +
"\n" +
"一、仲裁条款\n" +
"1、为了确保本协议的充分履行,甲乙双方达成一致:将本协议共同提交上海仲裁委员会予以立案确认其效力并作出裁决。由甲方作为仲裁案件申请人,乙方作为仲裁案件的被申请人。双方同意由甲方承担全部仲裁费。仲裁费以上海仲裁委员会实际出具的缴费通知书为准。双方均同意,上海仲裁委员会受理案件后,可通过电话或邮件的方式告知双方案件已受理的情况,无需再发送其他纸质书面的材料。(包括但不限于仲裁通知书、规则、名册、其他程序性文件以及本案仲裁申请书、证据材料等)。本案仲裁申请书、证据材料双方已经于提起仲裁前确认收到。\n" +
"\n" +
"双方同意本案适用快速程序,确认委托上海仲裁委员会主任指定一名仲裁员成立仲裁庭进行书面审理,并依法根据本协议作出裁决书,事实与理由从简。双方均同意放弃相应的答辩、举证等期限权利。双方同意由仲裁庭决定以其认为合适的方式,从简、从速处理本案。\n" +
"\n" +
"双方同意上海仲裁委员会通过电子送达方式向双方送达包括裁决书在内的各类仲裁法律文书,裁决书及各类仲裁法律文书发送至双方当事人所确认之电子邮箱的日期即为送达日期。双方确认本协议首部所载电子邮箱、联系地址和联系电话均为有效的送达信息。\n" +
"\n" +
"二、甲方郑重承诺\n" +
"1、甲方是独立线上消费金融服务提供商,合作方均为持牌金融机构。旗下各平台所经营的所有产品均合法合规,不存在任何违法、违规经营情形。\n" +
"2、甲方出于业务考虑,在乙方履行保密义务的前提下,给予乙方以下方案:【甲方于签署本协议之日起5日内给予乙方1000元补偿金】。\n" +
"\n" +
"三、乙方郑重承诺\n" +
"1、乙方接受甲方在本协议第二条项下所给予的和解方案,并在【3】个工作日内撤销对甲方及在甲方平台办理贷款涉及的所有资金方、担保方和其他相关方(上述公司的关联公司)的一切投诉,再无其他任何异议或主张,包括但不限于诉讼、信访、投诉、媒体平台举报等任何不利于甲方、资金方、担保方和其他相关方的言行或举动等。\n" +
"2、乙方承诺对本协议承担无限期保密义务,任何情况下不得将本协议内容泄露给任意第三方。\n" +
"3、若乙方违反上述任一承诺,则构成根本违约,应当退还甲方给予的全部补偿金,并承担违约责任。\n" +
"\n" +
"四、违约责任\n" +
"如果乙方违反本协议第三条项下任一承诺内容,则应当退还甲方给予的全部补偿金【1000】元,并向甲方一次性支付违约金【1000】元,上述金额共计【2000】元。同时,乙方应立即纠正违约行为并采取一切必要手段消除/挽回/弥补甲方因此遭受的损失或影响。\n" +
"\n" +
"\n" +
"\n" +
"甲方(盖章): 乙方(签字):\n" +
"\n" +
"日期:2023年11月3日 日期:\n" +
"\n";
String[] split = text.split("日期:");
int order=1;
String s1 = spiltRtoL(text);
String substring = s1.substring(0, StrUtil.ordinalIndexOf(s1, StrUtil.reverse("日期:"), 2) + "日期:".length());
if(split.length>0){
String s = split[split.length - order];
}
}
public static String spiltRtoL(String s) {
StringBuffer sb = new StringBuffer();
int length = s.length();
char[] c = new char[length];
for (int i = 0; i < length; i++) {
c[i] = s.charAt(i);
}
for (int i = length - 1; i >= 0; i--) {
sb.append(c[i]);
}
return sb.toString();
}
2023-11-27 17:28:37 +08:00
}