sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
294 Commits 5 Branches 0 Tags
09ac03b758840839e518b313569712d77461cccf
Commit Graph

10 Commits

Author SHA1 Message Date
Blizzard 09ac03b758 perf(docker): 依赖下载全部换国内源(内网构建提速)
deploy-132 / deploy (push) Failing after 5m35s
Details 
go mod download 走默认 proxy.golang.org 内网极慢。四个 Dockerfile 统一换国内镜像:
- Go: GOPROXY=https://goproxy.cn,direct(三个 Go 服务)
- alpine: apk 源换 mirrors.aliyun.com(ca-certificates/tzdata)
- pip: mcp-py 换清华 pypi 源
- npm: gateway admin 已在用 npmmirror(此前已有)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 16:03:45 +08:00
Blizzard a5fd251fc0 feat(deploy): 容器化 + 一键独立部署 —— 5 服务镜像 + prod compose + 安装/备份/许可 
此前应用服务只是本机裸二进制、无 Dockerfile、无法交付。本提交把项目从"只能在我笔记本
跑"变成"任何人一条命令起一整套"，是「演示 / 拉投资 / 卖给客户独立部署」的可交付基础。

- Dockerfile ×5：gateway/dispatcher/mcp-go 多阶段(distroless static, 36–55MB)；
  mcp-py(python-slim, 268MB)；admin(node 构建→nginx 托管 SPA + 反代 /api，76MB)。
  Go 构建上下文为仓库根以兜住 replace ../sundynix-shared；.dockerignore 瘦上下文。
- docker-compose.prod.yml：应用 + 基建一把起；经服务名互连（顺带避开 localhost DNS 坑）；
  基建端口不对宿主暴露；depends_on 健康检查保序（mcp-go 待 Milvus healthy）；
  APP_ENV=production 强制密钥校验 + 锁 CORS + 管理员白名单。
- .env.example + DEPLOY.md：两类密钥分层（引导密钥走 .env，模型 key 控制台加密存库）；
  首次管理员流程；安全建议。LICENSE 专有（授权模型可后定）。
- scripts/backup.sh + restore.sh：PG 逻辑备份 + 各数据卷快照 / 恢复。
- .gitignore 挡 .env*（密钥不入库）。

live：5 镜像全构建通过；独立 project 起整套 → nginx→gateway→NATS→dispatcher→mcp 全链路
注册+提任务 running→done，depends_on 保序生效。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 15:23:36 +08:00
Blizzard 53669437d5 perf(tools): 工具服务单实例并发（ServeTool 协程化）+ mcp-py 同改 
垂直扩：单个 mcp 实例内每个工具调用分发到独立 goroutine/task 并发处理，
不再受 NATS 单订阅回调串行所限；配合队列组多副本即「单实例并发 × 副本数」横向扩。

- bus.ServeTool：回调立即起 goroutine 并返回（不阻塞 NATS 投递），信号量限并发
  （MCP_TOOL_CONCURRENCY，默认 16），handler panic → 回错误结果避免调用方干等超时。
- mcp-py mcp_gateway：_on_call 改 asyncio.create_task 派发 + Semaphore 限并发（同默认 16）。
- 测试 TestConcurrentToolServe：slow 工具阻塞时 fast 工具仍返回（旧串行下会超时）。

验证：单测通过；mcp-go/mcp-py live 重启工具就绪，工具往返正常（memory/history/kb_search
均正常响应，无 panic）。全模块 build+vet+test 全绿。

注：下游共享后端（Milvus/Neo4j/PG/嵌入端点）是横向扩的最终上限，届时扩这些而非 mcp 实例。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 15:40:50 +08:00
Blizzard 79437e1c1c feat(mcp-py,dispatcher): 自主 agent 工具动态发现覆盖 mcp-py 
把动态工具发现从 mcp-go 扩到两台 MCP：
- mcp-py：TOOL_META 改成与 mcp-go 同形（cn/desc/agent/params/inject），
  list_tools 上报这些；run_code 标 agent 可用（params: code）→ 自主 agent
  可执行 Python 代码做计算/数据处理。
- dispatcher：agentTools 拆出 discoverTools(subject)，分别探 mcp-go / mcp-py
  的 list_tools 并合并；某台 MCP 离线即跳过（降级，不阻断）。

验收：mcp-py 未启动时自主 agent 仍正常（探测秒跳过），一次自主调用了
history_get + memory_get 两个动态发现的 go 工具（注入 session_id/user_id）；
go 全绿、mcp-py py_compile 通过。mcp-py 起着时 run_code 即自动入 agent 菜单。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 14:34:07 +08:00
Blizzard 8bcb90cdb2 feat(admin): 服务状态面板（基建/服务探活 + MCP 工具注册）+ mcp-go 工具注册表 
管理端新增「运维 › 服务状态」：总览横幅 + 摘要数字 + 请求链路拓扑
（客户端→网关→NATS→调度→MCP，按健康三态着色）+ 应用服务卡（含探针
延迟）+ 基建磁贴 + MCP 工具按能力域分组（中文名/作用）。

探活机制（全走 NATS，无 HTTP）：
- mcp-go/mcp-py 新增 list_tools 自省工具，能应答=在线 + 上报工具清单
- dispatcher 无端点 → 新增 NATS 心跳主题 sundynix.health.dispatcher
  （ServeHealth 应答 model/ready/uptime），网关用 bus.Ping 探
- 网关 GET /api/v1/admin/status 并发聚合四探针 + 各项延迟

mcp-go 重构：switch → map 注册表（buildRegistry），dispatch 与 list_tools
共用单一事实源，杜绝漂移；每个工具带中文名 + 作用描述。mcp-py 同样补元信息。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:10 +08:00
Blizzard cad5b14382 feat(mcp-py): 代码沙箱落地 —— AST 静态守卫 + Docker 隔离执行（弃用桩） 
mcp-py 的 run_code/secure_sandbox 此前全是桩。落地两层防御：

1) 静态守卫 sandbox.SecureSandbox.static_guard（纯 AST，执行前第一道）
   - 拦危险导入(os/sys/subprocess/socket/ctypes/pickle/requests…)、危险调用
     (eval/exec/compile/__import__/open…)、逃逸属性(__subclasses__/__globals__…)、语法错误。
   - 返回 (放行, 原因)。

2) 隔离执行 interpreter.CodeInterpreter.execute（Docker，真隔离）
   - network_disabled 禁网；user=65534 非 root + cap_drop=ALL + no-new-privileges；
     read_only 根 + /tmp tmpfs；mem/memswap(禁swap)/nano_cpus/pids_limit 限资源；
     python -I 隔离模式；wait 超时即 kill；容器一次性 remove。
   - 无 Docker SDK/daemon 时 available()=False 优雅降级，不阻断服务。

gateway：run_code(标准档 256m/0.5cpu/10s) 与 secure_sandbox(紧档 128m/5s) 均走
守卫→隔离，结果整理为 stdout/stderr/exit 可读文本。pyproject 启用 docker 依赖。

验证：
- 守卫 6 单测（放行安全码 / 拦危险导入·调用·逃逸属性 / 语法错误）全过。
- 隔离 4 项实跑（真 Docker）：sum(range(10))→45 exit0；非root uid=65534；
  禁网 urlopen 失败(DNS解析错)；while True 超时 3s 被 kill。
- 无 Docker 降级测过。

生产加固：可把执行运行时换 gVisor(runsc)/Kata（已在注释/PROGRESS 标注）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:26:08 +08:00
Blizzard 21e5f6620d chore: fresh-clone 可直接运行审查与修复 
确保 git clone 后零配置(除 LLM key)即可跑通后端链路。

- go.work: 移出 sundynix-desktop(Wails，//go:embed frontend/dist 需先 npm build，
  且 main 为桩)，避免污染后端工作区构建；保留后端 4 模块
- mcp-py pyproject: 注释未 import 的 mcp/docker 重依赖(对应功能仍为桩)，
  fresh pip install 只装实际用到的 nats-py + docx/openpyxl/pypdf，更快更稳
- README: 完整环境改为 fresh-clone 零配置运行指引(infra→4后端→2前端→控制台配模型)
- 审查结论: 无硬编码绝对路径; 各服务 env 默认全对齐 docker-compose; go.sum/
  package-lock 齐全; /tmp clone 实测: 4 后端模块 go build ✓、admin npm ci+build ✓、
  mcp-py 全新 venv 安装+导入 ✓; e2e PASS

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 17:13:55 +08:00
Blizzard 3550a22557 feat: 文件入库 — docx/xlsx/pdf/csv 经 mcp-py 解析 → RAG 
入库从纯文本升级为多文件类型：解析(mcp-py 算法层)与切块/embedding 解耦。
上传文件 → Gateway 按类型路由 → mcp-py parse_document 解析为文本 → kb_ingest。

- mcp-py: parsers.py(docx=python-docx / xlsx=openpyxl / pdf=pypdf / csv / txt→文本)；
  parse_document 工具做真(base64 文件→文本，线程池跑 CPU 密集解析)；pyproject 加依赖
- gateway: POST /api/v1/kb/ingest_file(multipart)；parseFile 文本类直读、office/pdf→mcp-py
- nats-server.conf: max_payload 8MB(容纳 base64 文件经工具调用；大文件应走对象存储)
- frontend: KbView 加文件上传(accept docx/xlsx/pdf/csv...)；api.ingestFile
- 验证: 全模块 build✓ + e2e PASS; live——4 类文件上传→mcp-py 解析→入库→检索命中:
  docx(营收报告)/xlsx(销量表行)/pdf(Q2计划)/csv(城市人口) 全部正确
- 边界: 扫描件/版面 OCR(MinerU/PaddleOCR)推迟；大文件 base64 走 NATS 受 max_payload
  限，生产应走对象存储(MinIO)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:10:07 +08:00
Blizzard a67604f4b7 feat: mcp-py 接入工具总线 sundynix.tools.py.* (与 Go 同契约) 
第 5b 层 Python 算法工具挂上 NATS，core NATS request-reply + 队列组，
与 Go 侧 ServeTool 字节级同契约({tool,args,task_id}/{ok,content,error})。

- mcp_gateway: nats-py 连接(无限重连) + queue subscribe(mcp-py-workers) + 按工具名路由
  工具 echo / run_code(Docker桩) / parse_document(MinerU桩) / secure_sandbox(gVisor桩)
- Makefile: 新增 mcp-py-setup(venv + pip install -e .)，mcp-py 缺 venv 自动 setup
  e2e 补上 TestToolCallRoundTrip
- 验证: live 对 NATS 容器跑通 4 类调用(含未知工具错误)；3 个 Go e2e PASS

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 12:58:38 +08:00
Blizzard c7a02c3905 feat: 初始化 sundynix-agentix 分层式 AI Agent 平台脚手架 
5 层 + 1 条 NATS 零拷贝消息总线的 monorepo（Monolith First → Microservices Morph B）。
纵向主干（任务流 + Token 流回流）已真实跑通，横向各层能力为带注释的桩。

已贯通（real code）:
- sundynix-shared: 共享契约 + JetStream/core NATS 真实收发(bus) + 内嵌 NATS(devnats) + e2e 测试
- sundynix-gateway: Gin 接入 + DSL 解析组装 + NATS Publish + SSE 流式输出
- sundynix-dispatcher: NATS 消费 + Eino Orchestrator 流式回流 + 熔断器 + LLM Pool 占位流式
- 链路: HTTP POST → DSL → sundynix.tasks.* → Dispatcher → Token 经 sundynix.streams.<id> 回流 → SSE
- 基础设施: docker-compose(nats/postgres/redis/neo4j/milvus) + Makefile(make demo/e2e)

待填(桩):
- Eino 图编排 compose.NewGraph、LLM Pool 接 vLLM/Ollama
- Gateway store 换真实 pgx/redis
- sundynix-mcp-go: Bleve+Milvus+Neo4j 混合检索 / UniOffice / 外部 API
- sundynix-mcp-py: gVisor 沙箱 / MinerU(PaddleOCR) / Docker 解释器
- sundynix-desktop: React Flow 画布 → DSL 导出 → SSE 展示
 2026-06-10 11:00:29 +08:00