 Blizzard
|
9a3a816c80
|
feat(prompts): prompt 版本化地基 —— 注册表 + 运行期文件覆盖
把散落各服务的硬编码 system prompt 收口为受管注册表，不重编译即可改/回滚/对比：
- shared/prompts：内置默认(随代码) + 运行期覆盖(PROMPTS_FILE) + Get/Keys，并发安全，含单测
- 接入 9 处：mcp-go(graph.extract)；dispatcher(eval.quality/eval.refine/guard.jailbreak/
coordinator.lead/memory.extract，按引用登记默认、无文本重复)
- main 启动调 LoadFile 加载 PROMPTS_FILE 覆盖
- live A/B：覆盖 graph.extract → 图谱抽取 2 条→0 条、向量仍正常（覆盖生效、管道未坏）
- v2(DB 控制面热切换 + 灰度)留后续
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-30 14:36:04 +08:00 |
|
|
Blizzard
|
79e834e8e9
|
feat(rag): 大文件 RAG 做深 —— 并发入库/图谱窗口化 + Bleve落盘 + file_id治理
几十万字文件从"广而浅"到准生产级：
- 向量化串行→并发分批保序(embedAll)；几十万字上千块快数倍
- 图谱整篇喂LLM(爆上下文只抽开头)→窗口化并发抽(extractGraphWindowed)，
全覆盖；窗口/封顶/并发 env 可配；图谱可单配便宜模型(GRAPH_CHAT_*，未配回退主chat)
- Bleve 内存索引(重启即丢、三路退两路)→落盘 scorch(env BLEVE_PATH，失败退内存兜底)
- 下游键改稳定 file_id：Neo4j 关系打 file_id(实体仍 kb+name 共享)；
新增 kb_delete 工具 + Engine.DeleteDoc 级联删 Milvus/Bleve/Neo4j
- 单测：窗口化/去重/env可配/落盘持久/图谱模型回退
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-30 13:37:45 +08:00 |
|
|
Blizzard
|
a4852c3aef
|
fix(rag): T2.2 把"三路混合"做实 —— 中文全文/图谱两路从 0 贡献修活
基建拉起后实测发现"三路混合检索"对中文其实只有向量路在干活：
`hybrid: 向量=1 全文=0 图谱=0` —— 全文、图谱两路恒 0 贡献（典型"广而浅"）。两个真因：
1. Bleve 全文：默认标准分词器不切中文 → 整段当一个 token → 中文查询永远 0 命中。
修：text 字段用 cjk 分词器（bigram），kb/doc 用 keyword（保 TermQuery 精确过滤）。
2. 图谱检索：`$q CONTAINS a.name` 要求实体名是查询子串，而 LLM 把实体抽成"星云一号卫星"
（带后缀），查询说"星云一号"→ CONTAINS 失败 → 0 命中。
修：加查询字符 n-gram（2..8）双向子串匹配，`星云一号` 即可命中 `星云一号卫星`。
live 验证（同一查询）：修复前 `向量=1 全文=0 图谱=0` → 修复后 `向量=1 全文=1 图谱=9`，
三路全贡献。中文混合检索从 1/3 变真 3/3。
测试：Bleve 中文检索命中 + queryNgrams 子串/长度边界（CI 安全，无需基建）。
DEPTH_ROADMAP T2.2：三路做实✅；检索质量度量(离线评测集 recall@k/MRR)待补。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-30 10:00:25 +08:00 |
|
|
Blizzard
|
d623b8590e
|
feat: GraphRAG — LLM 抽三元组建 Neo4j 图谱 + 混合检索加图谱第三路
混合检索从 2 路(向量+全文)升级为 3 路(+图谱)。入库时 LLM 抽实体/关系建
Neo4j 图，检索时图谱路(实体关联三元组)融进 RRF；UI 可视化图谱。
- mcp-go rag: chat.go(OpenAI 兼容非流式 chat 客户端,抽取用) + graph.go(neo4j-go-driver
连接 + LLM 抽三元组 + MERGE 实体/关系 + 图谱召回/全量三元组) + rag.go(Config 结构;
graph+chat 路;Ingest 加 抽实体/写Neo4j 阶段;Search 三路 RRF 融合;SetChat 热更新)
- mcp-go: Neo4j env(默认 neo4j://localhost:7687, neo4j/sundynix);订阅 chat 控制面配置
(复用 DeepSeek 做抽取);新工具 kb_graph(返回三元组)
- gateway: GET /api/v1/kb/graph;frontend KbView 知识图谱面板(实体—关系→实体)
- 验证: 全模块 build✓ + e2e PASS; live——入库'sundynix用Milvus...'→DeepSeek 抽 4 三元组
→Neo4j(8 实体);检索三路融合 向量=4 全文=2 图谱=1;浏览器图谱面板渲染 4 三元组
- 边界: 实体链接用 CONTAINS 朴素匹配(可升级 LLM 查询实体抽取);全文/图谱重启随入库重建
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-11 11:10:22 +08:00 |
|