sundynix-agentix

sundynix/sundynix-agentix

Fork 0

Commit Graph

Author	SHA1	Message	Date
Blizzard	53f7e172c3	fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F）原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）： - milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错） - rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等 - gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试） - 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」 live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证） Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-07-06 16:32:25 +08:00
Blizzard	f610d8d2da	feat(kb): 大文档正文存 MinIO（PG 只留元数据+预览+对象键）超过阈值(8000 字)的正文落对象存储，彻底解决十几万字文件塞 PG 的问题。 - internal/blob：minio-go 封装 Store(Open/Put/Get/Delete + Ready 降级)；连不上则降级内联。 - docker-compose：milvus-minio 暴露 9000 端口供网关用作文档对象存储（bucket sundynix-docs）。 - main/router/handler：注入 blob.Store（env MINIO_*，默认 localhost:9000 minioadmin）。 - runIngest：size>8000 且 MinIO 可用 → 正文 Put 到 owner/kb/name，PG content 置空仅存 object_key+preview+size；否则内联。SaveDoc 改为按全文显式传 preview（offload 后内联为空也有预览）。 - KbDoc：object_key 非空时从 MinIO 取回全文。验证：入 12182 字笔记 → PG content_len=0、object_key=wt/default/超大文件测试、preview 非空、 size=12182；/kb/doc 取回完整 12182 字（来自 MinIO）；6321 字的仍内联(object_key 空)。列表只读元数据+预览。gateway build 通过。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-13 17:02:44 +08:00

Author

SHA1

Message

Date

Blizzard

53f7e172c3

fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F）

原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在
向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。

改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）：
- milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错）
- rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等
- gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；
  任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试）
- 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」

live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-07-06 16:32:25 +08:00

Blizzard

f610d8d2da

feat(kb): 大文档正文存 MinIO（PG 只留元数据+预览+对象键）

超过阈值(8000 字)的正文落对象存储，彻底解决十几万字文件塞 PG 的问题。

- internal/blob：minio-go 封装 Store(Open/Put/Get/Delete + Ready 降级)；连不上则降级内联。
- docker-compose：milvus-minio 暴露 9000 端口供网关用作文档对象存储（bucket sundynix-docs）。
- main/router/handler：注入 blob.Store（env MINIO_*，默认 localhost:9000 minioadmin）。
- runIngest：size>8000 且 MinIO 可用 → 正文 Put 到 owner/kb/name，PG content 置空仅存
  object_key+preview+size；否则内联。SaveDoc 改为按全文显式传 preview（offload 后内联为空也有预览）。
- KbDoc：object_key 非空时从 MinIO 取回全文。

验证：入 12182 字笔记 → PG content_len=0、object_key=wt/default/超大文件测试、preview 非空、
size=12182；/kb/doc 取回完整 12182 字（来自 MinIO）；6321 字的仍内联(object_key 空)。
列表只读元数据+预览。gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-13 17:02:44 +08:00

2 Commits