feat(observability): OpenTelemetry 全链路追踪（Jaeger + NATS 跨总线传播）
新增 sundynix-shared/otelx：otelx.Init(ctx,服务名) 注册 W3C 传播器 + OTLP/HTTP 批量导出（默认 localhost:4318，docker 里的 Jaeger）；OTEL_SDK_DISABLED=true 关导出。 Jaeger 不在线 / 导出器构建失败都不阻断启动（可观测性是增益而非依赖）。 - NATS 跨进程传播（无现成中间件）：bus/trace.go 的 natsHeaderCarrier + inject/extract， PublishTask/CallTool 注入 traceparent，ConsumeTasks/ServeTool 抽出续上 → 链路跨总线连成一棵树。 - 埋点：gateway 挂 otelgin（HTTP server span，链路根）；dispatcher task.execute → node.<kind>（每节点，nctx 下传使工具/LLM 挂到节点下）→ llm.stream/llm.generate； bus 自动出 tool.call(client)↔tool.serve(server) 成对跨服务 span。 - docker-compose 加 jaeger all-in-one（UI :16686，OTLP :4318）。 - 依赖修复：otlptracehttp 触发 genproto 单体(旧)vs 拆分模块 ambiguous import（milvus 拉旧版）， pin genproto 至后拆分版（go.work 工作区全局生效）。 - production_readiness.md 1.1 更新为「已实现」。 验证：真实 input→retriever→agent 任务在 Jaeger 出 14 span / 3 服务的完整树， 跨 NATS（publish→consume）、跨服务（tool.call→tool.serve）均连通， 瓶颈 kb_search 692ms、llm 1597ms 一眼可见；四模块 build+vet+test 全绿。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Blizzard
@@ -6,6 +6,7 @@ import (
|
||||
|
||||
"github.com/gin-gonic/gin"
|
||||
"github.com/prometheus/client_golang/prometheus/promhttp"
|
||||
"go.opentelemetry.io/contrib/instrumentation/github.com/gin-gonic/gin/otelgin"
|
||||
|
||||
"github.com/sundynix/sundynix-gateway/internal/blob"
|
||||
"github.com/sundynix/sundynix-gateway/internal/handler"
|
||||
@@ -17,10 +18,11 @@ import (
|
||||
// New 构建带有 Guardrail / 限流中间件的 Gin 引擎。
|
||||
func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus, blobStore *blob.Store) *gin.Engine {
|
||||
r := gin.New()
|
||||
r.Use(gin.Recovery()) // panic 兜底
|
||||
r.Use(middleware.RequestID()) // 生成/透传 X-Request-ID（日志关联）
|
||||
r.Use(middleware.Observe()) // Prometheus 指标 + 结构化访问日志（替代 gin 默认文本日志）
|
||||
r.Use(cors()) // 桌面端/浏览器跨源访问
|
||||
r.Use(gin.Recovery()) // panic 兜底
|
||||
r.Use(otelgin.Middleware("sundynix-gateway")) // OTel: HTTP server span（链路根 + 提取上游 traceparent）
|
||||
r.Use(middleware.RequestID()) // 生成/透传 X-Request-ID（日志关联）
|
||||
r.Use(middleware.Observe()) // Prometheus 指标 + 结构化访问日志（替代 gin 默认文本日志）
|
||||
r.Use(cors()) // 桌面端/浏览器跨源访问
|
||||
r.Use(middleware.RateLimit(cache))
|
||||
r.Use(middleware.Auth()) // 解析 Bearer JWT，注入已验证 userID（非阻断）
|
||||
r.Use(middleware.Guardrail()) // Harness: Input Guardrail
|
||||
@@ -35,10 +37,10 @@ func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus, blobStore *blob.
|
||||
api := r.Group("/api/v1")
|
||||
{
|
||||
// —— 公开：鉴权端点 / 健康 / 按 task_id 寻址的 SSE 与导出（EventSource/下载无法带 Bearer）——
|
||||
api.POST("/auth/register", h.Register) // 注册 + 签发 JWT
|
||||
api.POST("/auth/login", h.Login) // 登录 + 签发 JWT
|
||||
api.GET("/auth/me", h.Me) // 当前登录用户（无效令牌 → 401）
|
||||
api.GET("/health", h.Health) // 依赖健康聚合（顶栏五盏灯）
|
||||
api.POST("/auth/register", h.Register) // 注册 + 签发 JWT
|
||||
api.POST("/auth/login", h.Login) // 登录 + 签发 JWT
|
||||
api.GET("/auth/me", h.Me) // 当前登录用户（无效令牌 → 401）
|
||||
api.GET("/health", h.Health) // 依赖健康聚合（顶栏五盏灯）
|
||||
api.GET("/tasks/:id/stream", h.StreamTask) // SSE 回流 Token Stream（task_id 寻址）
|
||||
api.GET("/tasks/:id/exec", h.StreamExec) // SSE 回流执行轨迹（task_id 寻址）
|
||||
api.GET("/kb/ingest/:id/stream", h.KbIngestStream) // 入库进度 SSE（job_id 寻址）
|
||||
@@ -48,25 +50,25 @@ func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus, blobStore *blob.
|
||||
// —— 受保护：owner 作用域业务，必须携带有效 JWT ——
|
||||
p := api.Group("", middleware.RequireAuth())
|
||||
{
|
||||
p.POST("/tasks", h.SubmitTask) // 解析 DSL 并 Publish 到 NATS（带已验证 uid）
|
||||
p.GET("/tasks/:id", h.TaskStatus) // 任务生命周期状态（UI 轮询 submitted/running/done/failed/timeout）
|
||||
p.PUT("/memory", h.SetMemory) // 偏好记忆登记（→ mcp-go memory_upsert）
|
||||
p.GET("/memory", h.ListMemory) // 列出当前用户偏好（记忆面板）
|
||||
p.DELETE("/memory", h.DeleteMemory) // 软删一条偏好（?key=）
|
||||
p.GET("/kb/list", h.KbList) // 当前用户的知识库列表（owner 隔离）
|
||||
p.POST("/kb/create", h.KbCreate) // 新建知识库
|
||||
p.POST("/kb/ingest", h.KbIngest) // 文本入库
|
||||
p.POST("/tasks", h.SubmitTask) // 解析 DSL 并 Publish 到 NATS（带已验证 uid）
|
||||
p.GET("/tasks/:id", h.TaskStatus) // 任务生命周期状态（UI 轮询 submitted/running/done/failed/timeout）
|
||||
p.PUT("/memory", h.SetMemory) // 偏好记忆登记（→ mcp-go memory_upsert）
|
||||
p.GET("/memory", h.ListMemory) // 列出当前用户偏好（记忆面板）
|
||||
p.DELETE("/memory", h.DeleteMemory) // 软删一条偏好（?key=）
|
||||
p.GET("/kb/list", h.KbList) // 当前用户的知识库列表（owner 隔离）
|
||||
p.POST("/kb/create", h.KbCreate) // 新建知识库
|
||||
p.POST("/kb/ingest", h.KbIngest) // 文本入库
|
||||
p.POST("/kb/ingest_file", h.KbIngestFile) // 文件入库
|
||||
p.POST("/kb/search", h.KbSearch) // 检索台
|
||||
p.GET("/kb/vault", h.KbVault) // 文库列表
|
||||
p.GET("/kb/doc", h.KbDoc) // 取单篇文档
|
||||
p.GET("/kb/links", h.KbLinks) // 某库双链
|
||||
p.POST("/kb/note", h.KbSaveNote) // 新建/编辑笔记
|
||||
p.GET("/kb/graph", h.KbGraph) // 知识图谱三元组
|
||||
p.GET("/agents", h.AgentList) // 我的编排列表（owner 隔离）
|
||||
p.POST("/agents", h.AgentSave) // 保存/更新编排
|
||||
p.DELETE("/agents", h.AgentDelete) // 删除编排
|
||||
p.POST("/reports", h.GenerateReport) // 报告生成
|
||||
p.POST("/kb/search", h.KbSearch) // 检索台
|
||||
p.GET("/kb/vault", h.KbVault) // 文库列表
|
||||
p.GET("/kb/doc", h.KbDoc) // 取单篇文档
|
||||
p.GET("/kb/links", h.KbLinks) // 某库双链
|
||||
p.POST("/kb/note", h.KbSaveNote) // 新建/编辑笔记
|
||||
p.GET("/kb/graph", h.KbGraph) // 知识图谱三元组
|
||||
p.GET("/agents", h.AgentList) // 我的编排列表（owner 隔离）
|
||||
p.POST("/agents", h.AgentSave) // 保存/更新编排
|
||||
p.DELETE("/agents", h.AgentDelete) // 删除编排
|
||||
p.POST("/reports", h.GenerateReport) // 报告生成
|
||||
p.GET("/billing", h.Billing)
|
||||
}
|
||||
|
||||
@@ -78,9 +80,9 @@ func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus, blobStore *blob.
|
||||
admin.POST("/models/:id/active", h.SetActiveModel)
|
||||
admin.DELETE("/models/:id", h.DeleteModel)
|
||||
admin.POST("/models/test", h.TestModel)
|
||||
admin.GET("/pricing", h.ListPricing) // 各模型计价（token↔真钱）
|
||||
admin.PUT("/pricing", h.SavePricing) // 设置某模型输入/输出单价
|
||||
admin.GET("/status", h.AdminStatus) // 服务状态：基建/服务探活 + MCP 工具注册
|
||||
admin.GET("/pricing", h.ListPricing) // 各模型计价（token↔真钱）
|
||||
admin.PUT("/pricing", h.SavePricing) // 设置某模型输入/输出单价
|
||||
admin.GET("/status", h.AdminStatus) // 服务状态：基建/服务探活 + MCP 工具注册
|
||||
}
|
||||
}
|
||||
return r
|
||||
|
||||
Reference in New Issue
Block a user