refactor(store): 迁移路径务实硬化——advisory lock + 版本表 + 破坏性迁移移出启动路径(B1)
此前每次启动裸跑 AutoMigrate + 一串手写索引/回填，且启动路径上有两处 DROP TABLE CASCADE 的 legacy 迁移；多实例并发启动无锁 → 并发 ALTER/建索引竞争，一方报错即掉降级。 务实硬化（不引外部工具，保留 gorm 结构体为源）： - PG advisory lock：整段迁移在 pg_advisory_lock 内串行，多实例同时启动只有一个进锁跑， 其余阻塞等待。取锁 60s 超时兜底（取不到带告警继续，AutoMigrate/索引多幂等）。 - 破坏性 legacy 迁移移出默认路径：migrateLegacyIntIDs/migrateDocLinkToID（DROP TABLE CASCADE）默认不跑，仅 ALLOW_LEGACY_SCHEMA_MIGRATION=1 时执行；检测到旧 schema 但未开 只告警不动手。现网早已是雪花 id 本就不触发，但从此不再是启动就可能 DROP。 - 版本化 runner：AutoMigrate 之外的步骤（3 个部分唯一索引 + NULL 余额回填）登记为 schemaSteps，各跑一次并记入 sundynix_schema_migration 表，下次跳过；某步失败即停、 不记录、下次重试。将来 AutoMigrate 做不了的破坏性/数据迁移在末尾追加新 id 即可。 pgsql.go 的迁移块收敛为一句 runMigrations(db)。带 runner 单测（跑一次/跳过/追加/失败即停）。 现网 DB 已有的索引/回填重跑无害（IF NOT EXISTS / WHERE IS NULL），跑后记录。build+vet+test 绿。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Blizzard
@@ -61,84 +61,17 @@ func OpenPostgres(dsn string) *Postgres {
|
||||
return &Postgres{}
|
||||
}
|
||||
tunePool(db) // 连接池上限，防高并发打爆 PG
|
||||
// 一次性迁移：旧表用整型自增 id，与新雪花字符串 id 不兼容（AutoMigrate 不改主键类型）。
|
||||
// 备份模型密钥(唯一不可再生的数据) → 重建全部表 → 回灌模型。其余为可重建的测试数据。
|
||||
migrateLegacyIntIDs(db)
|
||||
migrateDocLinkToID(db)
|
||||
|
||||
if err := db.AutoMigrate(&User{}, &Task{}, &Eval{}, &LLMModel{}, &KB{}, &Doc{}, &Agent{}, &DocLink{}, &Pricing{}, &Prompt{}, &AuditLog{}, &GuardrailEvent{}, &Tenant{}, &TenantMember{}, &TenantInvite{}, &Space{}, &SpaceMember{}, &UsageEvent{}, &CreditLedger{}, &UsageRollup{}, &Setting{}, &CreditPack{}, &PaymentOrder{}, &RedeemCode{}, &SubscriptionPlan{}, &Subscription{}); err != nil {
|
||||
log.Printf("[store] postgres AutoMigrate 失败，降级运行: %v", err)
|
||||
// 迁移统一走 runMigrations：advisory lock 内串行（多实例安全）→ AutoMigrate 基线 →
|
||||
// 版本化步骤（索引/回填）。破坏性 legacy 迁移默认不跑（见 migrate.go）。
|
||||
if err := runMigrations(db); err != nil {
|
||||
log.Printf("[store] postgres 迁移失败，降级运行: %v", err)
|
||||
return &Postgres{}
|
||||
}
|
||||
// 支付入账幂等兜底闸：grant 分录按 ref(=订单号) 唯一——支付回调是 at-least-once，
|
||||
// 订单状态机 CAS 是主闸，这里是第二道。部分索引：admin 手工发放 ref 为空、usage 分录不受影响。
|
||||
if err := db.Exec(`CREATE UNIQUE INDEX IF NOT EXISTS idx_ledger_grant_ref ON sundynix_credit_ledger (kind, ref) WHERE kind = 'grant' AND ref <> ''`).Error; err != nil {
|
||||
log.Printf("[store] 账本 grant/ref 唯一索引创建失败（重复入账兜底闸缺位）: %v", err)
|
||||
}
|
||||
// 退款幂等兜底闸：adjust 分录带 ref(=订单号) 唯一——防重复退款冲销。
|
||||
// 部分索引：admin 手工校正（GrantCredits 负数）ref 为空，不受约束；与 grant 双闸对称。
|
||||
if err := db.Exec(`CREATE UNIQUE INDEX IF NOT EXISTS idx_ledger_refund_ref ON sundynix_credit_ledger (kind, ref) WHERE kind = 'adjust' AND ref <> ''`).Error; err != nil {
|
||||
log.Printf("[store] 账本 adjust/ref 唯一索引创建失败（重复退款兜底闸缺位）: %v", err)
|
||||
}
|
||||
// 回填历史 NULL 余额。credit_balance_micro 是后加的列，早于它创建的租户行值为 NULL，
|
||||
// 而入账用的是 `余额 + N` —— SQL 里 NULL + N 仍是 NULL，于是这些租户**充值永远不到账**
|
||||
// （分录照写、余额不动），且不报错。代码侧已改 coalesce 自愈，这里把存量一次修平，
|
||||
// 让「余额 = SUM(ledger)」这条对账不变量重新成立。
|
||||
if err := db.Exec(`UPDATE sundynix_tenant SET credit_balance_micro = COALESCE(
|
||||
(SELECT SUM(credits_micro) FROM sundynix_credit_ledger l WHERE l.tenant_id = sundynix_tenant.id), 0)
|
||||
WHERE credit_balance_micro IS NULL`).Error; err != nil {
|
||||
log.Printf("[store] 历史 NULL 余额回填失败: %v", err)
|
||||
}
|
||||
|
||||
// 微信 openid 部分唯一索引：只约束非空值。存量邮箱用户该列是空串 '' 而非 NULL，
|
||||
// 若建普通唯一索引，多个空串会互撞、AutoMigrate 直接失败（NULL 余额那次的同类坑）。
|
||||
if err := db.Exec(`CREATE UNIQUE INDEX IF NOT EXISTS idx_user_wechat_openid ON sundynix_user (wechat_openid) WHERE wechat_openid <> ''`).Error; err != nil {
|
||||
log.Printf("[store] 微信 openid 唯一索引创建失败: %v", err)
|
||||
}
|
||||
|
||||
registerTenantScope(db) // 多租户：受租户模型的查询/创建自动按上下文注入 tenant_id（统一强制隔离）
|
||||
log.Println("[store] postgres connected & migrated (雪花 id + 软删 规约)")
|
||||
return &Postgres{db: db}
|
||||
}
|
||||
|
||||
// migrateLegacyIntIDs 检测到旧整型 id 表则备份模型密钥、删旧表（AutoMigrate 随后按新规约重建）。
|
||||
func migrateLegacyIntIDs(db *gorm.DB) {
|
||||
var dt string
|
||||
db.Raw(`SELECT data_type FROM information_schema.columns WHERE table_name='sundynix_model' AND column_name='id'`).Scan(&dt)
|
||||
if dt != "bigint" && dt != "integer" {
|
||||
return // 全新库或已是新规约
|
||||
}
|
||||
log.Println("[store] 检测到旧整型 id 表，执行雪花 id 迁移（保模型密钥，重置其它测试表）")
|
||||
var saved []map[string]any
|
||||
db.Table("sundynix_model").Find(&saved)
|
||||
for _, t := range []string{"sundynix_doc_link", "sundynix_doc", "sundynix_agent", "sundynix_kb", "sundynix_model", "sundynix_task", "sundynix_user"} {
|
||||
db.Exec("DROP TABLE IF EXISTS " + t + " CASCADE")
|
||||
}
|
||||
_ = db.AutoMigrate(&LLMModel{}) // 先建模型表以回灌
|
||||
for _, r := range saved {
|
||||
s := func(k string) string { v, _ := r[k].(string); return v }
|
||||
b, _ := r["active"].(bool)
|
||||
_ = db.Create(&LLMModel{
|
||||
Kind: s("kind"), Provider: s("provider"), BaseURL: s("base_url"),
|
||||
APIKey: s("api_key"), Model: s("model"), Active: b,
|
||||
}).Error
|
||||
}
|
||||
log.Printf("[store] 已回灌 %d 条模型配置（新雪花 id）", len(saved))
|
||||
}
|
||||
|
||||
// migrateDocLinkToID 把旧的按名双链表（from_name/to_name）迁到按 Doc.ID 关联的新表。
|
||||
// 旧表无 from_id 列即判定为旧 schema：直接删表，由 AutoMigrate 重建；链接随文档再入库/编辑重建。
|
||||
func migrateDocLinkToID(db *gorm.DB) {
|
||||
if !db.Migrator().HasTable("sundynix_doc_link") {
|
||||
return
|
||||
}
|
||||
if db.Migrator().HasColumn(&DocLink{}, "from_id") {
|
||||
return // 已是按 ID 关联的新 schema
|
||||
}
|
||||
log.Println("[store] 双链表升级为按文件 ID 关联，重建 sundynix_doc_link（链接随文档再入库重建）")
|
||||
db.Exec("DROP TABLE IF EXISTS sundynix_doc_link CASCADE")
|
||||
}
|
||||
|
||||
// Enabled 报告是否处于真实持久化模式。
|
||||
func (p *Postgres) Enabled() bool { return p.db != nil }
|
||||
|
||||
|
||||
Reference in New Issue
Block a user