 Blizzard
|
85a5c2c1e7
|
feat(rag): 混合检索融合 — Milvus 向量 + Bleve 全文 + RRF + DashScope rerank
检索从向量单路升级为混合：向量(Milvus) + 全文(Bleve BM25) → RRF 融合 →
可选 rerank(DashScope gte-rerank)。
- rag/bleve.go: Bleve 全文索引(内存,随 ingest 写入;kb 过滤)；ingest 同步写 Milvus+Bleve
- rag/fuse.go: RRF(Reciprocal Rank Fusion, k=60, 按文本去重)融合多路排序
- rag/rerank.go: DashScope gte-rerank 客户端(可选,env 配置,失败降级 RRF)
- rag/rag.go: Search 改混合(向量+全文→RRF→可选rerank→topK)；main 读 RERANK_* env
- 验证: 全模块 build✓ + e2e PASS; live——入库写双索引；查'NATS'→全文精确命中#1+向量
→RRF NATS 排首(向量=4 全文=1)；接 DashScope gte-rerank(百炼 key 有权限)→relevance
score 0.19 真重排；retriever 节点端到端→DeepSeek 答 Milvus
- 边界: Neo4j 图路(GraphRAG,需实体抽取)推迟；Bleve 内存索引重启重建；rerank 走 env
(TODO 同 embedding 搬控制面 kind=rerank)
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-11 09:53:37 +08:00 |
|
|
Blizzard
|
8ff68078b7
|
feat: 知识库管理界面（入库监控 + 检索台）
桌面端「知识库」模块从占位变为可用：入库(切块/embedding/Milvus 监控) +
检索调试台(向量召回，带分数与来源)。
- mcp-go: 新工具 kb_search(返回结构化 JSON [{text,score}])；rag.Hit 加 json 标签
- gateway: POST /api/v1/kb/search → kb_search（结构化命中给检索台）
- desktop: lib/api ingestKb/searchKb；新 KbView(左 入库+监控日志 / 右 检索台命中列表
带 Milvus 来源徽标+分数)；App 接 kb 视图；LeftNav 知识库 ready
- 验证: gateway/mcp-go build✓ + e2e PASS + 前端 build✓；真实浏览器——入库3条→监控
'已入库3块'；语义查询'存储和搜索向量的组件'→Milvus(0.612)>Neo4j>NATS 排序正确,
全走真实百炼 embedding(控制面下发)+Milvus
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-10 17:40:32 +08:00 |
|
|
Blizzard
|
3b54e59ecf
|
feat: embedding 配置搬上控制面 — 数据源页可视化配置 + 热更新
embedding 从 env 改为控制面驱动(持久化+可视化)，复用 chat 模型同套范式：
配置控制面泛化为按 kind(chat/embedding)，加 embedding kind。
- shared: 配置 subjects 泛化 sundynix.config.<kind>.get/.updated；bus 方法改 kind 参数
(RequestConfig/ServeConfig/PublishConfigUpdated/SubscribeConfigUpdated)
- gateway: sundynix_model 加 kind 列(每 kind 唯一激活)+旧行回填 chat；admin 按 kind
增删改/激活/列表，测试连接 embedding 走 POST /embeddings；main 按 kind ServeConfig；
变更广播各 kind
- dispatcher: 取 chat 配置(kind 化)
- mcp-go: rag.Engine.SetEmbedding 热更新(RWMutex)；main 取/订阅 embedding 控制面配置
(覆盖 env)
- admin 控制台: api 按 kind；抽出复用 ModelManager；ModelsPage(chat)+新 DatasourcesPage
(embedding + 向量/图库占位)；routes 数据源页就绪
- 验证: 全模块 build✓ + e2e PASS + 控制台 npm build✓；live 全跑通——chat(DeepSeek 回填
kind 仍工作)；mcp-go 不带 EMBED env 启动→控制台配 embedding(百炼)→测试连接✓→激活
→NATS 热更新 mcp-go→入库+语义检索'存向量的数据库'→Milvus；浏览器数据源页拉到激活配置
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-10 17:25:54 +08:00 |
|
|
Blizzard
|
e5bbe7318c
|
feat(rag): Milvus 集合维度自适应 — 切换 embedding 模型自动重建
ensure() 检测已存集合的向量维度，与当前 embedding 维度不一致则 Drop+重建
(DescribeCollection 读 TypeParams[dim])。支持从 mock(256)切到真实 embedding(如
百炼 text-embedding-v3=1024 维)无需手动清库。
验证: 接阿里云百炼 text-embedding-v3(OpenAI 兼容)真实 embedding——集合自动
256→1024 重建，入库5条；语义检索(查询措辞与文档不同)：'存储搜索向量的组件'
→Milvus、'传消息的中间件'→NATS、'知识图谱存哪'→Neo4j，全部语义命中正确。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-10 17:12:24 +08:00 |
|
|
Blizzard
|
84d1a1dd3a
|
feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。
- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
→召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）
注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-10 17:07:36 +08:00 |
|