feat: 配置控制面 + LLM Pool 接第三方在线 API (OpenAI 兼容)
后端从占位回显变为真实生成:管理员经控制面登记/激活模型,Gateway 经 NATS 下发,Dispatcher 热更新 LLM Pool,Eino 图用 OpenAI 兼容流式真实推理。 - shared: contract.ModelConfig(provider/base_url/api_key/model) + 配置 subjects; bus.RequestModelConfig/ServeModelConfig/Publish/Subscribe ModelConfigUpdated - gateway: store.LLMModel→sundynix_model(AutoMigrate,唯一激活) + admin REST (GET/POST/active/delete/test models, api_key 脱敏) + main ServeModelConfig + 变更广播; 路由 /api/v1/admin/models* - dispatcher: llm.Pool OpenAI 兼容 SSE 流式客户端(ChatStream) + 热更新配置 + 未配置则降级桩; poolModel.Ready()?真实流式:注入记忆的桩; main 取配置+订阅 - 开发期接在线 API 不拉本地模型(见 llm-provider-strategy memory) - 验证: 4 模块 build✓ + e2e PASS; mock OpenAI 服务 live 跑通——登记/测试连接✓/ 激活→NATS 热更新→提交→真实 SSE 流出 mock 回复, mock 日志证明端点被调用且 注入画像(老王)进了模型上下文 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,72 @@
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
|
||||
"gorm.io/gorm"
|
||||
)
|
||||
|
||||
// LLMModel 是一个 LLM 后端配置(控制面:管理员在此登记可用模型)。
|
||||
// 表名 sundynix_model(遵守前缀约定)。同一时刻仅一条 Active=true。
|
||||
type LLMModel struct {
|
||||
ID uint `gorm:"primaryKey"`
|
||||
Provider string `gorm:"size:32"` // openai-compatible / vllm
|
||||
BaseURL string `gorm:"size:255"` // 如 https://api.deepseek.com/v1
|
||||
APIKey string `gorm:"size:255"`
|
||||
Model string `gorm:"size:64"` // 如 deepseek-chat
|
||||
Active bool
|
||||
}
|
||||
|
||||
func (LLMModel) TableName() string { return "sundynix_model" }
|
||||
|
||||
// ListModels 列出全部模型配置。
|
||||
func (p *Postgres) ListModels(ctx context.Context) ([]LLMModel, error) {
|
||||
if p.db == nil {
|
||||
return nil, nil
|
||||
}
|
||||
var rows []LLMModel
|
||||
err := p.db.WithContext(ctx).Order("id").Find(&rows).Error
|
||||
return rows, err
|
||||
}
|
||||
|
||||
// SaveModel 新增或更新一条模型配置(ID==0 新增)。
|
||||
func (p *Postgres) SaveModel(ctx context.Context, m *LLMModel) error {
|
||||
if p.db == nil {
|
||||
return errStoreDisabled
|
||||
}
|
||||
return p.db.WithContext(ctx).Save(m).Error
|
||||
}
|
||||
|
||||
// SetActiveModel 把指定模型设为激活(其余取消),事务保证唯一激活。
|
||||
func (p *Postgres) SetActiveModel(ctx context.Context, id uint) error {
|
||||
if p.db == nil {
|
||||
return errStoreDisabled
|
||||
}
|
||||
return p.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
|
||||
if err := tx.Model(&LLMModel{}).Where("active = ?", true).Update("active", false).Error; err != nil {
|
||||
return err
|
||||
}
|
||||
return tx.Model(&LLMModel{}).Where("id = ?", id).Update("active", true).Error
|
||||
})
|
||||
}
|
||||
|
||||
// GetActiveModel 返回当前激活模型(无则 nil)。
|
||||
func (p *Postgres) GetActiveModel(ctx context.Context) (*LLMModel, error) {
|
||||
if p.db == nil {
|
||||
return nil, nil
|
||||
}
|
||||
var m LLMModel
|
||||
err := p.db.WithContext(ctx).Where("active = ?", true).First(&m).Error
|
||||
if err != nil {
|
||||
return nil, nil // 未配置激活模型
|
||||
}
|
||||
return &m, nil
|
||||
}
|
||||
|
||||
// DeleteModel 删除一条模型配置。
|
||||
func (p *Postgres) DeleteModel(ctx context.Context, id uint) error {
|
||||
if p.db == nil {
|
||||
return errStoreDisabled
|
||||
}
|
||||
return p.db.WithContext(ctx).Delete(&LLMModel{}, id).Error
|
||||
}
|
||||
Reference in New Issue
Block a user