fix: KB 级联删「事务化」—— 失败不再留不可删孤儿(T4.F)
原为 best-effort:三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在 向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。 改为「类事务」(跨库 2PC 不可行,退而求其次:不留不可恢复孤儿 + 失败可见可重试): - milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error(原 void 吞错) - rag.DeleteDoc 三库全试一遍(最大化清理)+ 聚合错误(原只回 Neo4j 的错);三库删幂等 - gateway KbDeleteDoc 失败闭合:先删依赖存储(三库→MinIO)、PG 最后删; 任一存储删失败 → 不删 PG、返 502「未删除请重试」(保留 file_id 供幂等重试) - 语义翻转:从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」 live:杀 mcp-go→删→502+文档保留;mcp-go 活→删→200+清空(清场僵尸进程后验证) Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -101,9 +101,9 @@ func (b *bleveStore) index(kb, doc string, texts []string) error {
|
||||
}
|
||||
|
||||
// deleteDoc 删除某 (kb, doc) 的全部全文块(笔记重入库前清旧块)。
|
||||
func (b *bleveStore) deleteDoc(kb, doc string) {
|
||||
func (b *bleveStore) deleteDoc(kb, doc string) error {
|
||||
if !b.ready() || doc == "" {
|
||||
return
|
||||
return nil
|
||||
}
|
||||
kq := bleve.NewTermQuery(kb)
|
||||
kq.SetField("kb")
|
||||
@@ -113,13 +113,13 @@ func (b *bleveStore) deleteDoc(kb, doc string) {
|
||||
req.Size = 1000
|
||||
res, err := b.idx.Search(req)
|
||||
if err != nil {
|
||||
return
|
||||
return err
|
||||
}
|
||||
batch := b.idx.NewBatch()
|
||||
for _, h := range res.Hits {
|
||||
batch.Delete(h.ID)
|
||||
}
|
||||
_ = b.idx.Batch(batch)
|
||||
return b.idx.Batch(batch)
|
||||
}
|
||||
|
||||
// search 全文检索(可按 kb 过滤),返回 BM25 排序的命中。
|
||||
|
||||
@@ -116,14 +116,16 @@ func (m *milvusStore) deleteDoc(ctx context.Context, kb, doc string, dim int) {
|
||||
}
|
||||
|
||||
// deleteByFile 按 file_id 删某文档的全部向量块(级联删用,无需 dim)。集合不存在/未加载时静默忽略。
|
||||
func (m *milvusStore) deleteByFile(ctx context.Context, kb, fileID string) {
|
||||
func (m *milvusStore) deleteByFile(ctx context.Context, kb, fileID string) error {
|
||||
if fileID == "" {
|
||||
return
|
||||
return nil
|
||||
}
|
||||
expr := fmt.Sprintf("kb == %q && doc == %q", kb, fileID)
|
||||
if err := m.cli.Delete(ctx, collection, "", expr); err != nil {
|
||||
log.Printf("[rag] 按 file_id 删除向量失败(忽略): %v", err)
|
||||
log.Printf("[rag] 按 file_id 删除向量失败: %v", err)
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// insert 写入若干 (kb, doc, text, vector)。
|
||||
|
||||
@@ -5,6 +5,7 @@ package rag
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
"log"
|
||||
"os"
|
||||
"strconv"
|
||||
@@ -253,16 +254,24 @@ func (e *Engine) Search(ctx context.Context, kb, query string, topK int) ([]Hit,
|
||||
}
|
||||
|
||||
// DeleteDoc 按 file_id 级联删某文档在三库的痕迹:Milvus 向量块 + Bleve 全文块 + Neo4j 关系。
|
||||
// Milvus/Bleve 尽力删(void),Neo4j 返回错误供上层感知;任一失败不阻断其余。
|
||||
// DeleteDoc 按 file_id 级联删三库痕迹。三库**全试一遍**(最大化清理,不因一处失败漏删另两处),
|
||||
// 聚合各库错误上返。三库删均幂等(删不存在=no-op),故上层可安全重试。
|
||||
func (e *Engine) DeleteDoc(ctx context.Context, kb, fileID string) error {
|
||||
if fileID == "" {
|
||||
return errors.New("file_id 必填")
|
||||
}
|
||||
e.mv.deleteByFile(ctx, kb, fileID)
|
||||
e.bleve.deleteDoc(kb, fileID)
|
||||
var errs []error
|
||||
if err := e.mv.deleteByFile(ctx, kb, fileID); err != nil {
|
||||
errs = append(errs, fmt.Errorf("向量: %w", err))
|
||||
}
|
||||
if err := e.bleve.deleteDoc(kb, fileID); err != nil {
|
||||
errs = append(errs, fmt.Errorf("全文: %w", err))
|
||||
}
|
||||
if err := e.graph.deleteByFile(ctx, kb, fileID); err != nil {
|
||||
log.Printf("[rag] 图谱按 file_id 删除失败: %v", err)
|
||||
return err
|
||||
errs = append(errs, fmt.Errorf("图谱: %w", err))
|
||||
}
|
||||
if len(errs) > 0 {
|
||||
return fmt.Errorf("级联删部分失败(幂等,可重试): %w", errors.Join(errs...))
|
||||
}
|
||||
log.Printf("[rag] 已删除文档痕迹 kb=%s file_id=%s(向量/全文/图谱)", kb, fileID)
|
||||
return nil
|
||||
|
||||
Reference in New Issue
Block a user