package rag import ( "fmt" "hash/fnv" "log" "github.com/blevesearch/bleve/v2" "github.com/blevesearch/bleve/v2/analysis/analyzer/keyword" "github.com/blevesearch/bleve/v2/analysis/lang/cjk" "github.com/blevesearch/bleve/v2/mapping" "github.com/blevesearch/bleve/v2/search/query" ) // bleveStore 是全文(BM25)检索路。内存索引:随 ingest 写入,进程重启重建。 // 真实生产应落盘(bleve.New(path,...));此处内存优先求简。 type bleveStore struct { idx bleve.Index } // bleveMapping:text 字段用 cjk 分词器(bigram,能切中文,否则默认标准分词器把整段中文当一个 // token → 中文全文检索永远 0 命中);kb/doc 用 keyword(不分词,保 TermQuery 精确过滤)。 func bleveMapping() mapping.IndexMapping { text := bleve.NewTextFieldMapping() text.Analyzer = cjk.AnalyzerName kw := bleve.NewTextFieldMapping() kw.Analyzer = keyword.Name doc := bleve.NewDocumentMapping() doc.AddFieldMappingsAt("text", text) doc.AddFieldMappingsAt("kb", kw) doc.AddFieldMappingsAt("doc", kw) im := bleve.NewIndexMapping() im.DefaultMapping = doc return im } func openBleve() *bleveStore { idx, err := bleve.NewMemOnly(bleveMapping()) if err != nil { log.Printf("[rag] bleve 初始化失败,全文路降级: %v", err) return &bleveStore{} } return &bleveStore{idx: idx} } func (b *bleveStore) ready() bool { return b != nil && b.idx != nil } // index 把 (kb, doc, texts) 写入全文索引(id 含 kb+doc+文本哈希,幂等)。 func (b *bleveStore) index(kb, doc string, texts []string) error { if !b.ready() { return nil } batch := b.idx.NewBatch() for _, t := range texts { id := fmt.Sprintf("%s:%s:%x", kb, doc, fnvHash(t)) if err := batch.Index(id, map[string]any{"text": t, "kb": kb, "doc": doc}); err != nil { return err } } return b.idx.Batch(batch) } // deleteDoc 删除某 (kb, doc) 的全部全文块(笔记重入库前清旧块)。 func (b *bleveStore) deleteDoc(kb, doc string) { if !b.ready() || doc == "" { return } kq := bleve.NewTermQuery(kb) kq.SetField("kb") dq := bleve.NewTermQuery(doc) dq.SetField("doc") req := bleve.NewSearchRequest(bleve.NewConjunctionQuery(kq, dq)) req.Size = 1000 res, err := b.idx.Search(req) if err != nil { return } batch := b.idx.NewBatch() for _, h := range res.Hits { batch.Delete(h.ID) } _ = b.idx.Batch(batch) } // search 全文检索(可按 kb 过滤),返回 BM25 排序的命中。 func (b *bleveStore) search(kb, q string, topK int) []Hit { if !b.ready() || q == "" { return nil } mq := bleve.NewMatchQuery(q) mq.SetField("text") var qy query.Query = mq if kb != "" { tq := bleve.NewTermQuery(kb) tq.SetField("kb") qy = bleve.NewConjunctionQuery(mq, tq) } req := bleve.NewSearchRequest(qy) req.Size = topK req.Fields = []string{"text"} res, err := b.idx.Search(req) if err != nil { return nil } var hits []Hit for _, h := range res.Hits { text, _ := h.Fields["text"].(string) if text != "" { hits = append(hits, Hit{Text: text, Score: float32(h.Score)}) } } return hits } func fnvHash(s string) uint64 { h := fnv.New64a() _, _ = h.Write([]byte(s)) return h.Sum64() }