feat(rag): 混合检索融合 — Milvus 向量 + Bleve 全文 + RRF + DashScope rerank

检索从向量单路升级为混合:向量(Milvus) + 全文(Bleve BM25) → RRF 融合 →
可选 rerank(DashScope gte-rerank)。

- rag/bleve.go: Bleve 全文索引(内存,随 ingest 写入;kb 过滤);ingest 同步写 Milvus+Bleve
- rag/fuse.go: RRF(Reciprocal Rank Fusion, k=60, 按文本去重)融合多路排序
- rag/rerank.go: DashScope gte-rerank 客户端(可选,env 配置,失败降级 RRF)
- rag/rag.go: Search 改混合(向量+全文→RRF→可选rerank→topK);main 读 RERANK_* env
- 验证: 全模块 build✓ + e2e PASS; live——入库写双索引;查'NATS'→全文精确命中#1+向量
  →RRF NATS 排首(向量=4 全文=1);接 DashScope gte-rerank(百炼 key 有权限)→relevance
  score 0.19 真重排;retriever 节点端到端→DeepSeek 答 Milvus
- 边界: Neo4j 图路(GraphRAG,需实体抽取)推迟;Bleve 内存索引重启重建;rerank 走 env
  (TODO 同 embedding 搬控制面 kind=rerank)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Blizzard
2026-06-11 09:53:37 +08:00
parent 755032c1d8
commit 85a5c2c1e7
8 changed files with 311 additions and 56 deletions
+37 -8
View File
@@ -10,11 +10,14 @@ import (
"sync"
)
// Engine 聚合 embedding Milvus,对外提供入库/检索。embedding 可热更新(控制面下发)
// Engine 聚合 embedding + Milvus(向量) + Bleve(全文) + RRF 融合 + 可选 rerank
// embedding 可热更新(控制面下发)。
type Engine struct {
mu sync.RWMutex
emb *embedClient
mv *milvusStore
mu sync.RWMutex
emb *embedClient
mv *milvusStore
bleve *bleveStore
rerank *rerankClient
}
// SetEmbedding 热更新 embedding 配置(控制面变更时调用)。空配置=关闭向量检索。
@@ -36,8 +39,12 @@ func (e *Engine) embed() *embedClient {
}
// Open 建立 RAG 引擎。embedding 未配 / Milvus 连不上 → 降级(检索返回空,不阻断工具服务)。
func Open(ctx context.Context, milvusAddr, embBase, embKey, embModel string) *Engine {
e := &Engine{}
// rerank* 为空则不启用重排(融合结果直接返回)。
func Open(ctx context.Context, milvusAddr, embBase, embKey, embModel, rerankBase, rerankKey, rerankModel string) *Engine {
e := &Engine{bleve: openBleve(), rerank: newRerankClient(rerankBase, rerankKey, rerankModel)}
if e.rerank.ready() {
log.Printf("[rag] rerank: %s model=%s", rerankBase, rerankModel)
}
if embBase != "" && embModel != "" {
e.SetEmbedding(embBase, embKey, embModel) // env 初值(控制面会覆盖)
} else {
@@ -74,10 +81,11 @@ func (e *Engine) Ingest(ctx context.Context, kb, text string) (int, error) {
if err := e.mv.insert(ctx, kb, chunks, vecs); err != nil {
return 0, err
}
_ = e.bleve.index(kb, chunks) // 同步写全文索引(失败不阻断向量入库)
return len(chunks), nil
}
// Search 向量化查询 → Milvus topK 检索。降级时返回空。
// Search 混合检索:Milvus(向量) + Bleve(全文) → RRF 融合 → 可选 rerank → topK。降级时返回空。
func (e *Engine) Search(ctx context.Context, kb, query string, topK int) ([]Hit, error) {
if !e.Ready() {
return nil, nil
@@ -85,11 +93,32 @@ func (e *Engine) Search(ctx context.Context, kb, query string, topK int) ([]Hit,
if topK <= 0 {
topK = 5
}
fanout := topK * 3
// 向量路
vecs, err := e.embed().Embed(ctx, []string{query})
if err != nil || len(vecs) == 0 {
return nil, err
}
return e.mv.search(ctx, kb, vecs[0], topK)
vecHits, _ := e.mv.search(ctx, kb, vecs[0], fanout)
// 全文路
ftHits := e.bleve.search(kb, query, fanout)
// RRF 融合(按文本去重)
cand := rrf([][]Hit{vecHits, ftHits}, fanout)
log.Printf("[rag] hybrid: 向量=%d 全文=%d → 融合=%d", len(vecHits), len(ftHits), len(cand))
// 可选 rerank:对融合候选重排取 topK
if e.rerank.ready() && len(cand) > 1 {
if rr, rerr := e.rerank.rerank(ctx, query, cand, topK); rerr == nil {
return rr, nil
} else {
log.Printf("[rag] rerank 降级(用 RRF 结果): %v", rerr)
}
}
if len(cand) > topK {
cand = cand[:topK]
}
return cand, nil
}
func (e *Engine) Close() {