feat: 配置控制面 + LLM Pool 接第三方在线 API (OpenAI 兼容)
后端从占位回显变为真实生成:管理员经控制面登记/激活模型,Gateway 经 NATS 下发,Dispatcher 热更新 LLM Pool,Eino 图用 OpenAI 兼容流式真实推理。 - shared: contract.ModelConfig(provider/base_url/api_key/model) + 配置 subjects; bus.RequestModelConfig/ServeModelConfig/Publish/Subscribe ModelConfigUpdated - gateway: store.LLMModel→sundynix_model(AutoMigrate,唯一激活) + admin REST (GET/POST/active/delete/test models, api_key 脱敏) + main ServeModelConfig + 变更广播; 路由 /api/v1/admin/models* - dispatcher: llm.Pool OpenAI 兼容 SSE 流式客户端(ChatStream) + 热更新配置 + 未配置则降级桩; poolModel.Ready()?真实流式:注入记忆的桩; main 取配置+订阅 - 开发期接在线 API 不拉本地模型(见 llm-provider-strategy memory) - 验证: 4 模块 build✓ + e2e PASS; mock OpenAI 服务 live 跑通——登记/测试连接✓/ 激活→NATS 热更新→提交→真实 SSE 流出 mock 回复, mock 日志证明端点被调用且 注入画像(老王)进了模型上下文 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -29,8 +29,26 @@ const (
|
||||
MetaUserID = "user_id"
|
||||
// MetaSessionID 是 Task.Meta 中承载会话标识的键(用于短期多轮历史)。
|
||||
MetaSessionID = "session_id"
|
||||
|
||||
// 配置控制面(Gateway 持有配置,Dispatcher 经 NATS 取用/订阅变更)。
|
||||
SubjectConfigModelGet = "sundynix.config.model.get" // request-reply:取当前激活模型配置
|
||||
SubjectConfigModelUpdated = "sundynix.config.model.updated" // broadcast:模型配置变更通知
|
||||
)
|
||||
|
||||
// ModelConfig 是一个 LLM 后端的连接配置(provider 抽象)。
|
||||
// 开发期指向第三方在线 API(OpenAI 兼容);生产期可换自部署(vLLM)或其它在线模型。
|
||||
type ModelConfig struct {
|
||||
Provider string `json:"provider"` // openai-compatible / vllm / ...
|
||||
BaseURL string `json:"base_url"` // 如 https://api.deepseek.com/v1
|
||||
APIKey string `json:"api_key,omitempty"`
|
||||
Model string `json:"model"` // 如 deepseek-chat
|
||||
}
|
||||
|
||||
// Ready 报告该配置是否足以发起真实推理。
|
||||
func (m *ModelConfig) Ready() bool {
|
||||
return m != nil && m.BaseURL != "" && m.Model != ""
|
||||
}
|
||||
|
||||
// Task 是 DSL 解析组装后的可调度任务,在 NATS 上以 JSON 传输。
|
||||
type Task struct {
|
||||
ID string `json:"id"`
|
||||
|
||||
Reference in New Issue
Block a user