feat(memory): P1 长期记忆升级 —— 异步攒批 Consolidate + 软删 + importance/last_seen #1
@@ -95,6 +95,7 @@ func (p *Postgres) DeleteAgent(ctx context.Context, owner, name string) error {
|
|||||||
// 表名 sundynix_doc。(owner,kb,name) 唯一;按 owner 隔离。文档间关联一律用本表的雪花 ID 关联。
|
// 表名 sundynix_doc。(owner,kb,name) 唯一;按 owner 隔离。文档间关联一律用本表的雪花 ID 关联。
|
||||||
type Doc struct {
|
type Doc struct {
|
||||||
BaseModel
|
BaseModel
|
||||||
|
TenantID string `gorm:"size:64;index"` // 多租户作用域(入库异步无请求 ctx,SaveDoc 按 owner 补)
|
||||||
Owner string `gorm:"size:64;uniqueIndex:idx_doc_okn"`
|
Owner string `gorm:"size:64;uniqueIndex:idx_doc_okn"`
|
||||||
KB string `gorm:"size:64;uniqueIndex:idx_doc_okn"`
|
KB string `gorm:"size:64;uniqueIndex:idx_doc_okn"`
|
||||||
Name string `gorm:"size:160;uniqueIndex:idx_doc_okn"` // 文件名称(不含扩展名 / 笔记名)
|
Name string `gorm:"size:160;uniqueIndex:idx_doc_okn"` // 文件名称(不含扩展名 / 笔记名)
|
||||||
@@ -106,12 +107,14 @@ type Doc struct {
|
|||||||
}
|
}
|
||||||
|
|
||||||
func (Doc) TableName() string { return "sundynix_doc" }
|
func (Doc) TableName() string { return "sundynix_doc" }
|
||||||
|
func (Doc) isTenantScoped() {}
|
||||||
|
|
||||||
// DocLink 是文档间 [[双链]] 的索引(owner+kb 内 from→to),以 Doc.ID 关联,供反链/笔记关系图按 SQL 查询,
|
// DocLink 是文档间 [[双链]] 的索引(owner+kb 内 from→to),以 Doc.ID 关联,供反链/笔记关系图按 SQL 查询,
|
||||||
// 避免在前端扫全部正文。入库/编辑时按 from 文档重建其出链;目标尚未入库时 ToID 为空(悬空,记 ToName 待回填)。
|
// 避免在前端扫全部正文。入库/编辑时按 from 文档重建其出链;目标尚未入库时 ToID 为空(悬空,记 ToName 待回填)。
|
||||||
type DocLink struct {
|
type DocLink struct {
|
||||||
BaseModel
|
BaseModel
|
||||||
Owner string `gorm:"size:64;index:idx_link_of"`
|
TenantID string `gorm:"size:64;index"` // 多租户作用域(ReplaceDocLinks 按 owner 补)
|
||||||
|
Owner string `gorm:"size:64;index:idx_link_of"`
|
||||||
KB string `gorm:"size:64;index:idx_link_of"`
|
KB string `gorm:"size:64;index:idx_link_of"`
|
||||||
FromID string `gorm:"size:24;index:idx_link_of"` // 源文档 Doc.ID
|
FromID string `gorm:"size:24;index:idx_link_of"` // 源文档 Doc.ID
|
||||||
ToID string `gorm:"size:24;index"` // 目标文档 Doc.ID(空=悬空:目标尚未入库)
|
ToID string `gorm:"size:24;index"` // 目标文档 Doc.ID(空=悬空:目标尚未入库)
|
||||||
@@ -119,6 +122,7 @@ type DocLink struct {
|
|||||||
}
|
}
|
||||||
|
|
||||||
func (DocLink) TableName() string { return "sundynix_doc_link" }
|
func (DocLink) TableName() string { return "sundynix_doc_link" }
|
||||||
|
func (DocLink) isTenantScoped() {}
|
||||||
|
|
||||||
// SaveDoc 写入/更新一份文件(owner+kb+name 唯一,重名覆盖),返回 (文件雪花 ID, 被覆盖的旧对象键)。
|
// SaveDoc 写入/更新一份文件(owner+kb+name 唯一,重名覆盖),返回 (文件雪花 ID, 被覆盖的旧对象键)。
|
||||||
// oldObjectKey 是重名覆盖前该文档的 ObjectKey(新建则为空)—— 供调用方清理 MinIO 孤儿对象。
|
// oldObjectKey 是重名覆盖前该文档的 ObjectKey(新建则为空)—— 供调用方清理 MinIO 孤儿对象。
|
||||||
@@ -127,10 +131,12 @@ func (p *Postgres) SaveDoc(ctx context.Context, owner, kb, name, ext, content, o
|
|||||||
if p.db == nil {
|
if p.db == nil {
|
||||||
return "", "", nil
|
return "", "", nil
|
||||||
}
|
}
|
||||||
|
// 入库为异步 worker(无请求 ctx 租户)→ 显式按 owner 补 tenant_id(插件在此不会自动填)。
|
||||||
|
tenantID := p.tenantIDForOwner(ctx, owner)
|
||||||
var d Doc
|
var d Doc
|
||||||
qerr := p.db.WithContext(ctx).Where("owner = ? AND kb = ? AND name = ?", owner, kb, name).First(&d).Error
|
qerr := p.db.WithContext(ctx).Where("owner = ? AND kb = ? AND name = ?", owner, kb, name).First(&d).Error
|
||||||
if errors.Is(qerr, gorm.ErrRecordNotFound) {
|
if errors.Is(qerr, gorm.ErrRecordNotFound) {
|
||||||
d = Doc{Owner: owner, KB: kb, Name: name, Ext: ext, Content: content, ObjectKey: objectKey, Size: size, Preview: preview}
|
d = Doc{TenantID: tenantID, Owner: owner, KB: kb, Name: name, Ext: ext, Content: content, ObjectKey: objectKey, Size: size, Preview: preview}
|
||||||
if err := p.db.WithContext(ctx).Create(&d).Error; err != nil {
|
if err := p.db.WithContext(ctx).Create(&d).Error; err != nil {
|
||||||
return "", "", err
|
return "", "", err
|
||||||
}
|
}
|
||||||
@@ -140,6 +146,9 @@ func (p *Postgres) SaveDoc(ctx context.Context, owner, kb, name, ext, content, o
|
|||||||
return "", "", qerr
|
return "", "", qerr
|
||||||
}
|
}
|
||||||
oldObjectKey = d.ObjectKey // 覆盖前的旧对象键
|
oldObjectKey = d.ObjectKey // 覆盖前的旧对象键
|
||||||
|
if tenantID != "" {
|
||||||
|
d.TenantID = tenantID // 覆盖路径也补齐(老行可能为空);查不到租户则不动,别把已有值抹空
|
||||||
|
}
|
||||||
d.Ext, d.Content, d.ObjectKey, d.Size, d.Preview = ext, content, objectKey, size, preview
|
d.Ext, d.Content, d.ObjectKey, d.Size, d.Preview = ext, content, objectKey, size, preview
|
||||||
if err := p.db.WithContext(ctx).Save(&d).Error; err != nil {
|
if err := p.db.WithContext(ctx).Save(&d).Error; err != nil {
|
||||||
return "", "", err
|
return "", "", err
|
||||||
@@ -191,6 +200,7 @@ func (p *Postgres) ReplaceDocLinks(ctx context.Context, owner, kb, fromID string
|
|||||||
if p.db == nil {
|
if p.db == nil {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
tenantID := p.tenantIDForOwner(ctx, owner) // 异步入库路径无请求 ctx 租户,按 owner 补
|
||||||
return p.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
|
return p.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
|
||||||
if err := tx.Where("owner = ? AND kb = ? AND from_id = ?", owner, kb, fromID).Delete(&DocLink{}).Error; err != nil {
|
if err := tx.Where("owner = ? AND kb = ? AND from_id = ?", owner, kb, fromID).Delete(&DocLink{}).Error; err != nil {
|
||||||
return err
|
return err
|
||||||
@@ -207,7 +217,7 @@ func (p *Postgres) ReplaceDocLinks(ctx context.Context, owner, kb, fromID string
|
|||||||
if toID == fromID { // 自链跳过
|
if toID == fromID { // 自链跳过
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
if err := tx.Create(&DocLink{Owner: owner, KB: kb, FromID: fromID, ToID: toID, ToName: name}).Error; err != nil {
|
if err := tx.Create(&DocLink{TenantID: tenantID, Owner: owner, KB: kb, FromID: fromID, ToID: toID, ToName: name}).Error; err != nil {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -33,6 +33,8 @@ func (Task) isTenantScoped() {}
|
|||||||
// Eval 是一次任务的自动化评测结果(dispatcher 评完经 NATS 回写,每任务一条,按 task_id upsert)。
|
// Eval 是一次任务的自动化评测结果(dispatcher 评完经 NATS 回写,每任务一条,按 task_id upsert)。
|
||||||
type Eval struct {
|
type Eval struct {
|
||||||
BaseModel
|
BaseModel
|
||||||
|
TenantID string `gorm:"size:64;index"` // 多租户作用域(SaveEval 从对应 task 复制)
|
||||||
|
Owner string `gorm:"size:64;index"` // 提交者 user.id(从对应 task 复制)
|
||||||
TaskID string `gorm:"uniqueIndex;size:64"`
|
TaskID string `gorm:"uniqueIndex;size:64"`
|
||||||
Overall float64 // 综合分 [0,1]
|
Overall float64 // 综合分 [0,1]
|
||||||
Rule float64 // 规则分
|
Rule float64 // 规则分
|
||||||
@@ -46,6 +48,7 @@ type Eval struct {
|
|||||||
}
|
}
|
||||||
|
|
||||||
func (Eval) TableName() string { return "sundynix_eval" }
|
func (Eval) TableName() string { return "sundynix_eval" }
|
||||||
|
func (Eval) isTenantScoped() {}
|
||||||
|
|
||||||
// AuditLog 是一条敏感操作留痕(改模型/密钥/激活 prompt/审批 等)。
|
// AuditLog 是一条敏感操作留痕(改模型/密钥/激活 prompt/审批 等)。
|
||||||
// 由 Audit 中间件在请求收尾时 best-effort 写入;只增不改,供运维溯源。
|
// 由 Audit 中间件在请求收尾时 best-effort 写入;只增不改,供运维溯源。
|
||||||
|
|||||||
@@ -180,10 +180,15 @@ func (p *Postgres) SaveEval(ctx context.Context, e *Eval) error {
|
|||||||
if p.db == nil {
|
if p.db == nil {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
// 评测由 dispatcher 经 NATS 回写(background ctx,无请求租户)→ 从对应 task 复制 owner+tenant。
|
||||||
|
var t Task
|
||||||
|
if err := p.db.WithContext(ctx).Select("owner", "tenant_id").Where("task_id = ?", e.TaskID).First(&t).Error; err == nil {
|
||||||
|
e.Owner, e.TenantID = t.Owner, t.TenantID
|
||||||
|
}
|
||||||
return p.db.WithContext(ctx).Clauses(clause.OnConflict{
|
return p.db.WithContext(ctx).Clauses(clause.OnConflict{
|
||||||
Columns: []clause.Column{{Name: "task_id"}},
|
Columns: []clause.Column{{Name: "task_id"}},
|
||||||
DoUpdates: clause.AssignmentColumns([]string{
|
DoUpdates: clause.AssignmentColumns([]string{
|
||||||
"overall", "rule", "llm", "faithful", "level", "flags", "reason", "sources", "corrected", "updated_at",
|
"owner", "tenant_id", "overall", "rule", "llm", "faithful", "level", "flags", "reason", "sources", "corrected", "updated_at",
|
||||||
}),
|
}),
|
||||||
}).Create(e).Error
|
}).Create(e).Error
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -44,6 +44,21 @@ func (p *Postgres) AddMember(ctx context.Context, tenantID, userID, role string)
|
|||||||
}
|
}
|
||||||
|
|
||||||
// DefaultTenantForUser 返回用户所属的默认租户(当前取其最早加入的 active 成员关系;无则 nil)。
|
// DefaultTenantForUser 返回用户所属的默认租户(当前取其最早加入的 active 成员关系;无则 nil)。
|
||||||
|
// tenantIDForOwner 返回某 user 的默认(最早 active)租户 id;无则空串。
|
||||||
|
// 供异步路径(入库 / 评测回写,无请求 ctx 租户)在写入时补 tenant_id。
|
||||||
|
func (p *Postgres) tenantIDForOwner(ctx context.Context, owner string) string {
|
||||||
|
if p.db == nil || owner == "" {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
var m TenantMember
|
||||||
|
if err := p.db.WithContext(ctx).Select("tenant_id").
|
||||||
|
Where("user_id = ? AND status = ?", owner, "active").
|
||||||
|
Order("created_at asc").First(&m).Error; err != nil {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
return m.TenantID
|
||||||
|
}
|
||||||
|
|
||||||
func (p *Postgres) DefaultTenantForUser(ctx context.Context, userID string) (*Tenant, error) {
|
func (p *Postgres) DefaultTenantForUser(ctx context.Context, userID string) (*Tenant, error) {
|
||||||
if p.db == nil {
|
if p.db == nil {
|
||||||
return nil, errStoreDisabled
|
return nil, errStoreDisabled
|
||||||
|
|||||||
@@ -94,13 +94,19 @@ func (p *Postgres) BackfillRowTenants(ctx context.Context) error {
|
|||||||
if p.db == nil {
|
if p.db == nil {
|
||||||
return errStoreDisabled
|
return errStoreDisabled
|
||||||
}
|
}
|
||||||
// 子查询:owner(user) → 其默认(最早 active)租户。
|
// 子查询:owner(user) → 其默认(最早 active)租户。有 owner 列的表按此回填。
|
||||||
sub := "SELECT tenant_id FROM sundynix_tenant_member m WHERE m.user_id = t.owner AND m.status = 'active' ORDER BY m.created_at ASC LIMIT 1"
|
sub := "SELECT tenant_id FROM sundynix_tenant_member m WHERE m.user_id = t.owner AND m.status = 'active' ORDER BY m.created_at ASC LIMIT 1"
|
||||||
for _, tbl := range []string{"sundynix_kb", "sundynix_agent"} {
|
for _, tbl := range []string{"sundynix_kb", "sundynix_agent", "sundynix_doc", "sundynix_doc_link", "sundynix_task"} {
|
||||||
q := "UPDATE " + tbl + " t SET tenant_id = (" + sub + ") WHERE (t.tenant_id IS NULL OR t.tenant_id = '')"
|
q := "UPDATE " + tbl + " t SET tenant_id = (" + sub + ") WHERE (t.tenant_id IS NULL OR t.tenant_id = '') AND t.owner <> ''"
|
||||||
if err := p.db.WithContext(ctx).Exec(q).Error; err != nil {
|
if err := p.db.WithContext(ctx).Exec(q).Error; err != nil {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
// Eval 无 owner 语义源,从对应 task 复制 owner+tenant(按 task_id 关联)。
|
||||||
|
evalQ := "UPDATE sundynix_eval e SET owner = t.owner, tenant_id = t.tenant_id " +
|
||||||
|
"FROM sundynix_task t WHERE e.task_id = t.task_id AND (e.tenant_id IS NULL OR e.tenant_id = '')"
|
||||||
|
if err := p.db.WithContext(ctx).Exec(evalQ).Error; err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user