feat(kb): 大文档正文存 MinIO(PG 只留元数据+预览+对象键)
超过阈值(8000 字)的正文落对象存储,彻底解决十几万字文件塞 PG 的问题。 - internal/blob:minio-go 封装 Store(Open/Put/Get/Delete + Ready 降级);连不上则降级内联。 - docker-compose:milvus-minio 暴露 9000 端口供网关用作文档对象存储(bucket sundynix-docs)。 - main/router/handler:注入 blob.Store(env MINIO_*,默认 localhost:9000 minioadmin)。 - runIngest:size>8000 且 MinIO 可用 → 正文 Put 到 owner/kb/name,PG content 置空仅存 object_key+preview+size;否则内联。SaveDoc 改为按全文显式传 preview(offload 后内联为空也有预览)。 - KbDoc:object_key 非空时从 MinIO 取回全文。 验证:入 12182 字笔记 → PG content_len=0、object_key=wt/default/超大文件测试、preview 非空、 size=12182;/kb/doc 取回完整 12182 字(来自 MinIO);6321 字的仍内联(object_key 空)。 列表只读元数据+预览。gateway build 通过。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,75 @@
|
||||
// Package blob 封装对象存储(MinIO):大文档正文落对象存储,PG 只留元数据 + 预览 + 对象键。
|
||||
package blob
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"io"
|
||||
"log"
|
||||
"time"
|
||||
|
||||
"github.com/minio/minio-go/v7"
|
||||
"github.com/minio/minio-go/v7/pkg/credentials"
|
||||
)
|
||||
|
||||
// Store 是对象存储句柄;cli 为 nil 表示降级(未连上 MinIO,大文档回退内联存 PG)。
|
||||
type Store struct {
|
||||
cli *minio.Client
|
||||
bucket string
|
||||
}
|
||||
|
||||
// Open 连接 MinIO 并确保 bucket 存在。连接失败返回降级实例(cli=nil),不阻断网关启动。
|
||||
func Open(endpoint, accessKey, secretKey, bucket string) *Store {
|
||||
cli, err := minio.New(endpoint, &minio.Options{
|
||||
Creds: credentials.NewStaticV4(accessKey, secretKey, ""),
|
||||
Secure: false,
|
||||
})
|
||||
if err != nil {
|
||||
log.Printf("[blob] MinIO 不可用,大文档回退内联: %v", err)
|
||||
return &Store{}
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
|
||||
defer cancel()
|
||||
exists, err := cli.BucketExists(ctx, bucket)
|
||||
if err != nil {
|
||||
log.Printf("[blob] MinIO 连接失败,大文档回退内联: %v", err)
|
||||
return &Store{}
|
||||
}
|
||||
if !exists {
|
||||
if err := cli.MakeBucket(ctx, bucket, minio.MakeBucketOptions{}); err != nil {
|
||||
log.Printf("[blob] 建 bucket 失败,大文档回退内联: %v", err)
|
||||
return &Store{}
|
||||
}
|
||||
}
|
||||
log.Printf("[blob] MinIO connected %s bucket=%s", endpoint, bucket)
|
||||
return &Store{cli: cli, bucket: bucket}
|
||||
}
|
||||
|
||||
// Ready 报告对象存储是否可用。
|
||||
func (s *Store) Ready() bool { return s != nil && s.cli != nil }
|
||||
|
||||
// Put 写入一段文本到对象键 key。
|
||||
func (s *Store) Put(ctx context.Context, key, content string) error {
|
||||
r := bytes.NewReader([]byte(content))
|
||||
_, err := s.cli.PutObject(ctx, s.bucket, key, r, int64(len(content)), minio.PutObjectOptions{ContentType: "text/plain; charset=utf-8"})
|
||||
return err
|
||||
}
|
||||
|
||||
// Get 读回对象键 key 的全部文本。
|
||||
func (s *Store) Get(ctx context.Context, key string) (string, error) {
|
||||
obj, err := s.cli.GetObject(ctx, s.bucket, key, minio.GetObjectOptions{})
|
||||
if err != nil {
|
||||
return "", err
|
||||
}
|
||||
defer obj.Close()
|
||||
b, err := io.ReadAll(obj)
|
||||
if err != nil {
|
||||
return "", err
|
||||
}
|
||||
return string(b), nil
|
||||
}
|
||||
|
||||
// Delete 删除对象(best-effort)。
|
||||
func (s *Store) Delete(ctx context.Context, key string) {
|
||||
_ = s.cli.RemoveObject(ctx, s.bucket, key, minio.RemoveObjectOptions{})
|
||||
}
|
||||
Reference in New Issue
Block a user