Blizzard
53f7e172c3
原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在 向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。 改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）： - milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错） - rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等 - gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删； 任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试） - 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」 live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证） Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
76 lines
2.4 KiB
Go
76 lines
2.4 KiB
Go
// Package blob 封装对象存储（MinIO）：大文档正文落对象存储，PG 只留元数据 + 预览 + 对象键。
|
|
package blob
|
|
|
|
import (
|
|
"bytes"
|
|
"context"
|
|
"io"
|
|
"log"
|
|
"time"
|
|
|
|
"github.com/minio/minio-go/v7"
|
|
"github.com/minio/minio-go/v7/pkg/credentials"
|
|
)
|
|
|
|
// Store 是对象存储句柄；cli 为 nil 表示降级（未连上 MinIO，大文档回退内联存 PG）。
|
|
type Store struct {
|
|
cli *minio.Client
|
|
bucket string
|
|
}
|
|
|
|
// Open 连接 MinIO 并确保 bucket 存在。连接失败返回降级实例（cli=nil），不阻断网关启动。
|
|
func Open(endpoint, accessKey, secretKey, bucket string) *Store {
|
|
cli, err := minio.New(endpoint, &minio.Options{
|
|
Creds: credentials.NewStaticV4(accessKey, secretKey, ""),
|
|
Secure: false,
|
|
})
|
|
if err != nil {
|
|
log.Printf("[blob] MinIO 不可用，大文档回退内联: %v", err)
|
|
return &Store{}
|
|
}
|
|
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
|
|
defer cancel()
|
|
exists, err := cli.BucketExists(ctx, bucket)
|
|
if err != nil {
|
|
log.Printf("[blob] MinIO 连接失败，大文档回退内联: %v", err)
|
|
return &Store{}
|
|
}
|
|
if !exists {
|
|
if err := cli.MakeBucket(ctx, bucket, minio.MakeBucketOptions{}); err != nil {
|
|
log.Printf("[blob] 建 bucket 失败，大文档回退内联: %v", err)
|
|
return &Store{}
|
|
}
|
|
}
|
|
log.Printf("[blob] MinIO connected %s bucket=%s", endpoint, bucket)
|
|
return &Store{cli: cli, bucket: bucket}
|
|
}
|
|
|
|
// Ready 报告对象存储是否可用。
|
|
func (s *Store) Ready() bool { return s != nil && s.cli != nil }
|
|
|
|
// Put 写入一段文本到对象键 key。
|
|
func (s *Store) Put(ctx context.Context, key, content string) error {
|
|
r := bytes.NewReader([]byte(content))
|
|
_, err := s.cli.PutObject(ctx, s.bucket, key, r, int64(len(content)), minio.PutObjectOptions{ContentType: "text/plain; charset=utf-8"})
|
|
return err
|
|
}
|
|
|
|
// Get 读回对象键 key 的全部文本。
|
|
func (s *Store) Get(ctx context.Context, key string) (string, error) {
|
|
obj, err := s.cli.GetObject(ctx, s.bucket, key, minio.GetObjectOptions{})
|
|
if err != nil {
|
|
return "", err
|
|
}
|
|
defer obj.Close()
|
|
b, err := io.ReadAll(obj)
|
|
if err != nil {
|
|
return "", err
|
|
}
|
|
return string(b), nil
|
|
}
|
|
|
|
// Delete 删除对象；返回错误供级联删按需失败闭合（其它 best-effort 调用点可忽略返回值）。
|
|
func (s *Store) Delete(ctx context.Context, key string) error {
|
|
return s.cli.RemoveObject(ctx, s.bucket, key, minio.RemoveObjectOptions{})
|
|
}
|