feat: 配置控制面 + LLM Pool 接第三方在线 API (OpenAI 兼容)
后端从占位回显变为真实生成:管理员经控制面登记/激活模型,Gateway 经 NATS 下发,Dispatcher 热更新 LLM Pool,Eino 图用 OpenAI 兼容流式真实推理。 - shared: contract.ModelConfig(provider/base_url/api_key/model) + 配置 subjects; bus.RequestModelConfig/ServeModelConfig/Publish/Subscribe ModelConfigUpdated - gateway: store.LLMModel→sundynix_model(AutoMigrate,唯一激活) + admin REST (GET/POST/active/delete/test models, api_key 脱敏) + main ServeModelConfig + 变更广播; 路由 /api/v1/admin/models* - dispatcher: llm.Pool OpenAI 兼容 SSE 流式客户端(ChatStream) + 热更新配置 + 未配置则降级桩; poolModel.Ready()?真实流式:注入记忆的桩; main 取配置+订阅 - 开发期接在线 API 不拉本地模型(见 llm-provider-strategy memory) - 验证: 4 模块 build✓ + e2e PASS; mock OpenAI 服务 live 跑通——登记/测试连接✓/ 激活→NATS 热更新→提交→真实 SSE 流出 mock 回复, mock 日志证明端点被调用且 注入画像(老王)进了模型上下文 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -183,6 +183,66 @@ func respond(m *nats.Msg, res *contract.ToolResult) {
|
||||
_ = m.Respond(data)
|
||||
}
|
||||
|
||||
// ---- 配置控制面(core NATS request-reply + broadcast)----
|
||||
|
||||
// RequestModelConfig 向控制面(Gateway)请求当前激活的模型配置。
|
||||
// 无人应答 / 无激活配置时返回 (nil, nil),由调用方降级。
|
||||
func (b *Bus) RequestModelConfig(ctx context.Context) (*contract.ModelConfig, error) {
|
||||
msg, err := b.nc.RequestWithContext(ctx, contract.SubjectConfigModelGet, nil)
|
||||
if err != nil {
|
||||
return nil, nil // 控制面暂不可用,降级
|
||||
}
|
||||
if len(msg.Data) == 0 {
|
||||
return nil, nil
|
||||
}
|
||||
var cfg contract.ModelConfig
|
||||
if err := json.Unmarshal(msg.Data, &cfg); err != nil {
|
||||
return nil, fmt.Errorf("unmarshal model config: %w", err)
|
||||
}
|
||||
if !cfg.Ready() {
|
||||
return nil, nil
|
||||
}
|
||||
return &cfg, nil
|
||||
}
|
||||
|
||||
// ServeModelConfig 让控制面响应配置请求;provide 返回当前激活配置(可为 nil)。
|
||||
func (b *Bus) ServeModelConfig(provide func() *contract.ModelConfig) (unsub func() error, err error) {
|
||||
sub, err := b.nc.Subscribe(contract.SubjectConfigModelGet, func(m *nats.Msg) {
|
||||
var data []byte
|
||||
if cfg := provide(); cfg != nil {
|
||||
data, _ = json.Marshal(cfg)
|
||||
}
|
||||
_ = m.Respond(data)
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("serve model config: %w", err)
|
||||
}
|
||||
return sub.Unsubscribe, nil
|
||||
}
|
||||
|
||||
// PublishModelConfigUpdated 广播模型配置变更(Dispatcher 据此热更新)。
|
||||
func (b *Bus) PublishModelConfigUpdated(cfg *contract.ModelConfig) error {
|
||||
data, err := json.Marshal(cfg)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return b.nc.Publish(contract.SubjectConfigModelUpdated, data)
|
||||
}
|
||||
|
||||
// SubscribeModelConfigUpdated 订阅模型配置变更。
|
||||
func (b *Bus) SubscribeModelConfigUpdated(onUpdate func(*contract.ModelConfig)) (unsub func() error, err error) {
|
||||
sub, err := b.nc.Subscribe(contract.SubjectConfigModelUpdated, func(m *nats.Msg) {
|
||||
var cfg contract.ModelConfig
|
||||
if json.Unmarshal(m.Data, &cfg) == nil {
|
||||
onUpdate(&cfg)
|
||||
}
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("subscribe model config: %w", err)
|
||||
}
|
||||
return sub.Unsubscribe, nil
|
||||
}
|
||||
|
||||
// TaskHandler 处理一个消费到的任务。
|
||||
type TaskHandler func(ctx context.Context, t *contract.Task) error
|
||||
|
||||
|
||||
Reference in New Issue
Block a user