263 Commits

Author	SHA1	Message	Date
wangdan-fit2cloud	689e74af4b	perf: 更新slogan文案	2024-09-10 10:39:22 +08:00
shaohuzhang1	f9a76d7948	feat: 支持openai接口 #353 (#1128)	2024-09-09 14:47:25 +08:00
CaptainB	70f44b990c	refactor: 格式规范的pdf通过目录来分段	2024-09-06 10:56:27 +08:00
CaptainB	57b15a8a7f	feat: 知识库支持上传csv和excel ... --story=1016154 --user=刘瑞斌 【知识库】-支持上传表格类型文档（Excel/CSV）按行分段 https://www.tapd.cn/57709429/s/1567910	2024-08-30 15:46:20 +08:00
zhangshaohu	cfb6307293	fix: 修复新增段落迁移文档未索引	2024-08-28 00:30:18 +08:00
shaohuzhang1	a9443a638c	fix: 修复上传文档中后缀为PDF 不识别	2024-08-27 14:16:03 +08:00
shaohuzhang1	b40b4e5305	fix: 修改swagger文档初始化	2024-08-27 11:44:31 +08:00
shaohuzhang1	df172b530c	fix: 修复上传PDF文件智能分段时提示 分段内容不能超过102400个字符 #998	2024-08-26 14:17:25 +08:00
shaohuzhang1	bb6f5d6096	fix: 修复应用保存报错	2024-08-26 13:38:38 +08:00
shaohuzhang1	9e0ac81f1d	refactor: 重构模型参数代码	2024-08-23 17:47:23 +08:00
wxg0103	228f913d9b	fix: 修复知识库手动添加分段报错的缺陷 ... --bug=1045628 --user=王孝刚 【知识库】手动添加分段报错 https://www.tapd.cn/57709429/s/1568695	2024-08-23 16:58:02 +08:00
shaohuzhang1	bee832994b	fix: 修复函数库输入参数校验,搜索函数失败,编辑函数描述为空校验	2024-08-22 11:50:37 +08:00
shaohuzhang1	d315c01133	fix: 修复dev 无法启动celery	2024-08-22 10:49:22 +08:00
CaptainB	2a87af6172	chore: 解析错误时输出错误原因	2024-08-22 10:43:48 +08:00
shaohuzhang1	ec4fe833b1	fix: 修复无法启动问题	2024-08-21 18:39:18 +08:00
shaohuzhang1	63e7e52a35	fix: 解决local_model服务端口冲突问题	2024-08-21 16:26:56 +08:00
zhangshaohu	7c5957e0a3	feat: 分离任务	2024-08-21 14:46:38 +08:00
shaohuzhang1	00af530d27	chore: 解析错误时输出错误原因 (#996) ... Co-authored-by: CaptainB <bin@fit2cloud.com>	2024-08-20 22:03:58 +08:00
CaptainB	17af603397	refactor: 优化pdf加载，修复部分pdf中文乱码的问题	2024-08-20 16:58:04 +08:00
CaptainB	01d8204cb5	refactor: 逐页加载pdf, 图片类型单独保存成文件加载	2024-08-16 15:08:22 +08:00
CaptainB	0d59ab2be9	refactor: 使用lazy_load方式加载pdf	2024-08-16 10:43:20 +08:00
CaptainB	e266dd9d99	refactor: 支持解析pdf中的图片	2024-08-15 20:53:44 +08:00
shaohuzhang1	f421d1975d	feat: 函数库功能	2024-08-15 17:17:25 +08:00
shaohuzhang1	0ad5a76598	fix: 修复分段时,特殊情况会丢失数据 #938 (#946)	2024-08-07 19:52:05 +08:00
shaohuzhang1	864bca6450	fix: 修复索引中的文档,知识库删除后依然再执行 (#934)	2024-08-06 16:22:53 +08:00
shaohuzhang1	b3c7120372	fix: 修复QA文件解析失败 (#933)	2024-08-06 14:47:28 +08:00
shaohuzhang1	d33bf6a8e8	fix: 修复知识库问题管理修改问题报错 (#929)	2024-08-06 10:13:52 +08:00
shaohuzhang1	76c1acbabb	fix: 修复讯飞星火模型多用户同时提问后，回答内容会错乱 #917 (#920)	2024-08-02 10:39:54 +08:00
shaohuzhang1	16d7316dca	feat: 段落分块设置最小分块字数 (#898)	2024-07-30 11:08:53 +08:00
shaohuzhang1	6aa2a682bc	fix: 修复向量化失败,缓存未被删除 (#887)	2024-07-29 16:17:30 +08:00
shaohuzhang1	3c7142ed7c	feat: 文档添加排队中状态 (#886)	2024-07-29 15:51:33 +08:00
shaohuzhang1	d935e9a836	fix: 修复上传文档，高级分段设置分段长度为10w字符，生成预览还是4096个字符一段 (#884)	2024-07-29 14:08:40 +08:00
shaohuzhang1	1979cf12c4	feat: gunicorn启动使用gthread (#882)	2024-07-26 18:58:01 +08:00
shaohuzhang1	c76bc0f2c2	refactor: 重构部分代码 (#865)	2024-07-25 11:54:41 +08:00
shaohuzhang1	0d2524df1d	refactor: 重构部分代码 (#864)	2024-07-25 10:41:38 +08:00
shaohuzhang1	0131f46e37	fix: 修改启动方式 (#860)	2024-07-24 16:55:00 +08:00
shaohuzhang1	53434f9d24	feat: 细分段落chunk增加召回命中率 (#841)	2024-07-23 18:19:41 +08:00
shaohuzhang1	5f3f1dd2ca	feat: 显示设置功能	2024-07-22 18:52:56 +08:00
shaohuzhang1	c465ddff19	fix: 修复无法流式输出 (#820)	2024-07-19 21:34:17 +08:00
shaohuzhang1	16851592c3	feat: 添加web服务器gunicorn	2024-07-19 18:23:56 +08:00
gcalgoz	4d8ac28674	fix: 优化文档分割处理 (#814)	2024-07-19 17:33:18 +08:00
shaohuzhang1	a9b8bdd365	feat: 支持向量模型	2024-07-19 16:44:53 +08:00
shaohuzhang1	b14a799350	feat: 支持向量模型	2024-07-19 10:34:47 +08:00
wangdan-fit2cloud	57aade8d62	feat 外观设置	2024-07-19 10:15:24 +08:00
shaohuzhang1	9e76cd97de	feat: 支持向量模型	2024-07-18 16:36:34 +08:00
shaohuzhang1	dcf5892b96	feat: 支持向量模型	2024-07-18 15:44:48 +08:00
shaohuzhang1	75b9b17e2e	feat: 支持向量模型	2024-07-18 10:26:16 +08:00
shaohuzhang1	bd4303aee7	feat: 支持向量模型	2024-07-17 17:01:57 +08:00
shaohuzhang1	fd6aa4fb39	fix: 优化认证逻辑 (#724)	2024-07-09 18:59:15 +08:00
shaohuzhang1	60e65a8b17	feat: 接口校验 (#721) ... feat: 接口校验	2024-07-09 13:44:27 +08:00
shaohuzhang1	c1e1a19a42	feat: 添加文件上传接口 (#712)	2024-07-05 19:02:20 +08:00
gcalgoz	d152f441ff	fix: 对模型嵌入归一化,提升检索速度 (#710)	2024-07-05 18:14:58 +08:00
wangdan-fit2cloud	b902bf153e	feat: 规范字体	2024-07-05 15:32:13 +08:00
shaohuzhang1	00f2a8bbd4	fix: 修复【知识库】高级分段 自动清洗，把所有换行被去除 (#684)	2024-07-02 11:32:20 +08:00
RatishT	6c67b65e6a	Fix pylint warning `no-else-return` (#678)	2024-07-02 10:55:26 +08:00
shaohuzhang1	2f2f74fdab	feat: 支持工作流 (#671)	2024-07-01 09:45:59 +08:00
Evan	726ba2a8e2	fix:知识库上传文档操作报异常，错误发生在 ts_vecto_util.py 文件的 replace_word 函数中：错误的原因是正则表达式模式在某个位置缺少一个右括号，使得子模式未完全结束。该提交修复了这个问题。 (#667)	2024-06-27 09:51:14 +08:00
shaohuzhang1	7a5bfa2673	fix: 修复导入带有表格样式的md文件分段后表格格式丢失 #615 (#630)	2024-06-13 10:41:52 +08:00
evilstar	3a7c4d3568	修复:关键词提取的bug (#621)	2024-06-11 18:25:12 +08:00
shaohuzhang1	cdc7e13415	feat: 升级langchain版本到2.2.3 (#617)	2024-06-07 11:08:32 +08:00
shaohuzhang1	11a8df151e	fix: 修复通过API进行对话的API文档接口错误 #587 (#593)	2024-06-03 10:53:03 +08:00
shaohuzhang1	ed7ddfbc59	fix: 修复分段超过分段长度限制 (#577)	2024-05-29 12:00:56 +08:00
shaohuzhang1	dd22fa0868	perf: 优化向量化文档后修改更新时间 (#571)	2024-05-28 18:12:45 +08:00
shaohuzhang1	22e192ed11	fix: 修复文档导入解析错误 (#570)	2024-05-28 17:32:29 +08:00
shaohuzhang1	efe5a2b021	fix: 修复excel导入失败问题 (#554)	2024-05-27 16:06:14 +08:00
shaohuzhang1	e9a05b1255	fix: 修复qa知识库导入失败错误 (#536)	2024-05-24 17:59:02 +08:00
shaohuzhang1	7953706895	perf: 优化错误提示 (#533)	2024-05-24 16:18:33 +08:00
shaohuzhang1	2da31997e5	perf: 优化API_KEY调用对话文档 (#532)	2024-05-24 15:57:43 +08:00
shaohuzhang1	a3af104ef0	feat: 知识库增加重新向量化功能	2024-05-24 11:27:59 +08:00
shaohuzhang1	28938104c0	* feat: 支持上传 Excel/CSV 类型的问答对 (#430)	2024-05-23 18:57:49 +08:00
shaohuzhang1	86f500208f	feat: 支持上传html格式的文档 #364 (#518)	2024-05-23 14:19:18 +08:00
shaohuzhang1	84c7728d00	fix: 修复应用修改模型后,历史对话未使用最新模型 (#487)	2024-05-20 20:21:45 +08:00
shaohuzhang1	7f30d03abd	fix: 修复分词超过数据库最大限制 (#401)	2024-05-09 15:55:35 +08:00
shaohuzhang1	3fb6192021	fix: 跨域失效 (#394)	2024-05-08 18:46:58 +08:00
shaohuzhang1	267be441e3	feat: 跨域设置(#276)	2024-05-08 17:13:13 +08:00
shaohuzhang1	d4e742f7c6	feat: 分段管理支持批量迁移,删除分段 #113,#103	2024-05-08 10:40:15 +08:00
shaohuzhang1	c1b6ec630c	fix: 导入文档中含有特殊字符时，导入失败。 #363 (#372)	2024-05-07 12:18:03 +08:00
shaohuzhang1	a788d8f3b8	perf: 优化超长文本rsa加密解密 (#312)	2024-04-29 13:53:49 +08:00
shaohuzhang1	cd472b47f7	fix: 模型添加长字符的加密解密方式 (#310)	2024-04-29 13:28:47 +08:00
shaohuzhang1	29427a0ad6	fix: 私有部署计算tokens报错 (#284)	2024-04-28 11:59:19 +08:00
shaohuzhang1	9d808b4ccd	feat: 支持文档迁移(#52)	2024-04-26 18:35:46 +08:00
shaohuzhang1	1f916a5c3e	feat: 【知识库】docx支持图片上传 #69 (#267)	2024-04-26 18:03:02 +08:00
shaohuzhang1	84e8ca0f84	fix: 应用修改获取对话详情被拒绝 (#251)	2024-04-25 16:17:29 +08:00
shaohuzhang1	b26265fefd	feat: 【应用】支持自定义上传应用的logo #54 ... * feat: 【知识库】本地上传的文档内带的图片能同步到 maxkb 里 #69 * feat: 【应用】支持自定义上传应用的logo #54	2024-04-23 19:03:34 +08:00
shaohuzhang1	df54fd2b54	fix: 对话API调用,输出报错 #192 (#200)	2024-04-22 13:52:46 +08:00
shaohuzhang1	c89ae29429	feat: 增加全文检索和混合检索方式	2024-04-22 11:21:24 +08:00
feng626	11f0a82e68	perf: Optimize the writing method of getting HTTP_AUTHORIZATION (#114)	2024-04-16 22:55:34 +08:00
shaohuzhang1	5e499e6afa	fix: PDF上传知识库开始导入接口报错 #122 (#125)	2024-04-16 20:59:27 +08:00
shaohuzhang1	3d28d2527b	fix: typos ... * fix: typos	2024-04-15 19:06:42 +08:00
Eric_Lee	dfb04b1052	perf: 优化代码和错误提示 (#101)	2024-04-15 16:53:26 +08:00
taojinlong	944ba01661	fix: 统一为中文简体	2024-04-15 15:43:37 +08:00
wxg0103	765ae8c79f	docs: 修改注释的错别字 (#78)	2024-04-15 14:51:09 +08:00
shaohuzhang1	260060f276	fix: 优化同步网页逻辑	2024-04-10 18:43:43 +08:00
shaohuzhang1	8b31fd6b36	fix: 分段不支持类型的文件报错	2024-04-10 17:05:46 +08:00
shaohuzhang1	bd3f6e4a9b	fix: word分段支持表格数据	2024-04-10 10:38:17 +08:00
shaohuzhang1	765c79ed9d	fix: 修改分段正则,优化分段逻辑	2024-04-09 18:05:50 +08:00
shaohuzhang1	b038f12a52	fix: 上传文档大小扩大到100MB	2024-04-09 15:21:40 +08:00
shaohuzhang1	11d8c6f174	fix: 修改已知bug(#30) ... * fix: 刷新公共访问链接后,客户端统计重置 * fix: 导出未提交的sql文件 * fix: 创建 MaxKB 在线文档的知识库，只能获取根地址数据，子地址数据无法获取	2024-04-02 19:32:04 +08:00
shaohuzhang1	16ab1f0eae	Pr@main@fix bugs (#27) ... * fix: 优化word分段规则 * fix: 去除标题特殊字符 * fix: 对话重新生成问题 --------- Co-authored-by: wangdan-fit2cloud <dan.wang@fit2cloud.com>	2024-04-01 14:39:56 +08:00
shaohuzhang1	c55bb3f6e5	Pr@main@pdf (#23) ... * feat: 分段API支持word,pdf * fix: 通用型知识库支持上传 PDF/DOC 格式的文档#19 --------- Co-authored-by: wangdan-fit2cloud <dan.wang@fit2cloud.com>	2024-03-29 18:28:05 +08:00
shaohuzhang1	05d01144f9	fix: 修改统计对话接口,添加时间段统计	2024-03-28 16:06:54 +08:00
shaohuzhang1	cf003aa2d2	fix: 同步web站点内容编码错误,导致乱码	2024-03-25 18:46:25 +08:00
shaohuzhang1	d732a46f89	fix: 【知识库】导入非utf8 编码的txt文件，分段内容是空白	2024-03-25 11:05:15 +08:00
zhangshaohu	53d45e069d	fix: 智能分段文本分段丢失数据	2024-03-23 19:46:20 +08:00
shaohuzhang1	2d91a0f2bf	fix: 程序启动将正在下载的模型设置为失败状态	2024-03-22 20:18:59 +08:00
shaohuzhang1	d074424398	feat: ollama支持下载模型	2024-03-22 17:56:56 +08:00
shaohuzhang1	d59aac4a2a	fix: 删除用户报错	2024-03-21 18:33:35 +08:00
shaohuzhang1	28d44ac567	feat: 去除无用代码	2024-03-21 14:49:21 +08:00
shaohuzhang1	40031bd29d	feat: 密钥对存储到数据库	2024-03-20 11:57:17 +08:00
shaohuzhang1	f7b9677a8c	feat: 表迁移	2024-03-18 17:54:48 +08:00
shaohuzhang1	4e93c6f4c7	feat: 用户管理相关接口	2024-03-18 15:34:02 +08:00
shaohuzhang1	27d8285388	fix: 静态资源白名单,添加非空判断	2024-03-14 14:30:50 +08:00
shaohuzhang1	e39c813c15	feat: 每日凌晨重置客户访问数量	2024-03-14 12:26:42 +08:00
zhangshaohu	0fbd5873f7	feat: 客户端不使用cookie存储改为localstore,优化认证代码	2024-03-14 05:43:01 +08:00
shaohuzhang1	21a557ef43	fix: 白名单逻辑修改	2024-03-13 21:50:57 +08:00
shaohuzhang1	fa36e6bbab	feat: 添加嵌入访问限制,白名单	2024-03-13 16:07:13 +08:00
shaohuzhang1	b470b1b6e5	feat: 添加问题管理相关接口,兼容历史版本	2024-03-11 17:28:05 +08:00
shaohuzhang1	d266b83d84	fix: 导入文档标题不能超过256个字符,修改统一响应异常	2024-03-06 18:37:11 +08:00
shaohuzhang1	ba3e4e7556	feat: 对接ollama平台模型	2024-03-06 13:43:45 +08:00
shaohuzhang1	da3015fa36	fix: 分段正则修改	2024-03-04 18:34:47 +08:00
shaohuzhang1	b153ca9e59	fix: 【知识库】知识库设置，web站点地址格式错误，保存报错	2024-03-04 11:01:58 +08:00
shaohuzhang1	f7a8f11ef7	fix: 校验提示	2024-03-04 10:12:18 +08:00
shaohuzhang1	855684472d	fix: 嵌入认证跨域问题	2024-03-01 14:25:56 +08:00
shaohuzhang1	30a19a0ed2	fix: 【知识库】知识库使用tagname选择器，有部分页面没有导入数据	2024-03-01 11:14:32 +08:00
shaohuzhang1	cc62c35995	fix: 分段时 title超过256字符将超出部分拼接给content	2024-02-29 18:48:10 +08:00
shaohuzhang1	911f00737a	fix: 【权限】有应用管理权限，启用停用apikey、删除apikey提示没有权限	2024-02-29 16:14:07 +08:00
shaohuzhang1	22c319a2bf	fix: 同步知识库,无法获取内容	2024-02-29 15:14:53 +08:00
shaohuzhang1	8450b3598c	fix: 同步web站点知识库 解析md 未按照标签解析	2024-02-29 12:02:29 +08:00
shaohuzhang1	7eb18fbf30	fix: 上传的文档中 未智能处理空白段落	2024-02-19 11:29:24 +08:00
shaohuzhang1	04f34d748e	fix: 【知识库】整体同步，只删除了没有同步	2024-01-29 17:07:07 +08:00
shaohuzhang1	68f3515e83	fix: 获取网络文档去掉ssl校验	2024-01-25 15:25:07 +08:00
shaohuzhang1	ef66af639e	fix: 同步web站点 选择器不填无法获取内容	2024-01-24 11:23:16 +08:00
shaohuzhang1	67e6138066	fix: 批量删除文档,未删除关联段落信息, 添加关联问题报错	2024-01-23 15:52:15 +08:00
shaohuzhang1	344c336143	fix: web站点 批量同步,批量删除,批量导入接口	2024-01-17 16:08:51 +08:00
shaohuzhang1	3f87335c80	feat: 优化对话逻辑	2024-01-16 16:46:54 +08:00
shaohuzhang1	82c8e322fb	feat: web站点数据集文档同步	2024-01-03 11:51:48 +08:00
shaohuzhang1	edbc8561c7	fix: 分段错误,会话模板修改	2024-01-02 15:34:19 +08:00
shaohuzhang1	64c8cc6b39	feat: web数据集	2023-12-29 18:02:23 +08:00
shaohuzhang1	8fb268c25a	feat: url获取文档数据工具	2023-12-27 18:33:23 +08:00
shaohuzhang1	a7704c3a8a	feat: 命中率测试接口	2023-12-25 17:10:59 +08:00
shaohuzhang1	ce1c2271eb	fix: 分段换行被替换	2023-12-21 17:46:43 +08:00
shaohuzhang1	2c6135a929	feat: 问答时,同步存入日志,优化向量化执行逻辑,修改model下载目录	2023-12-21 16:55:11 +08:00
shaohuzhang1	b6f7537c2b	feat: 日志打印,嵌入脚本	2023-12-21 12:16:39 +08:00
shaohuzhang1	9750a550a5	feat: 创建数据集向量化,以文档的粒度向量化	2023-12-20 15:23:59 +08:00
shaohuzhang1	81df321782	fix: 邮件格式	2023-12-20 14:57:45 +08:00
shaohuzhang1	b61da14fdd	fix: 去除分段日志打印	2023-12-20 14:39:35 +08:00
shaohuzhang1	f6d84b5c53	fix: 修改向量化段落拼接	2023-12-20 13:56:25 +08:00
shaohuzhang1	2273081d52	fix: 修改日志答案保存到段落后，关联问题未做向量化处理。	2023-12-20 12:36:09 +08:00
wangdan-fit2cloud	a82d282255	feat:	2023-12-18 11:32:29 +08:00
shaohuzhang1	740f1d3dd1	fix: 向量化的时候限制最大值	2023-12-15 14:22:19 +08:00