sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
47 Commits 1 Branch 0 Tags
f610d8d2da5b61b002a4d1ecd783fd44941a5d6a
Commit Graph

10 Commits

Author SHA1 Message Date
Blizzard f610d8d2da feat(kb): 大文档正文存 MinIO（PG 只留元数据+预览+对象键） 
超过阈值(8000 字)的正文落对象存储，彻底解决十几万字文件塞 PG 的问题。

- internal/blob：minio-go 封装 Store(Open/Put/Get/Delete + Ready 降级)；连不上则降级内联。
- docker-compose：milvus-minio 暴露 9000 端口供网关用作文档对象存储（bucket sundynix-docs）。
- main/router/handler：注入 blob.Store（env MINIO_*，默认 localhost:9000 minioadmin）。
- runIngest：size>8000 且 MinIO 可用 → 正文 Put 到 owner/kb/name，PG content 置空仅存
  object_key+preview+size；否则内联。SaveDoc 改为按全文显式传 preview（offload 后内联为空也有预览）。
- KbDoc：object_key 非空时从 MinIO 取回全文。

验证：入 12182 字笔记 → PG content_len=0、object_key=wt/default/超大文件测试、preview 非空、
size=12182；/kb/doc 取回完整 12182 字（来自 MinIO）；6321 字的仍内联(object_key 空)。
列表只读元数据+预览。gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 17:02:44 +08:00
Blizzard 69967ea534 refactor(kb): 文库列表/正文分离 + [[双链]]索引表（可扛大文件） 
不再一次拉回整库正文、不再前端扫全文 —— 列表只读元数据，正文按需取，链接走索引。

- store: SaveDoc 维护 size+preview(前 500 字)；ListVault 仅 Select 元数据(name/size/preview，
  不含 content)；GetDoc 取单篇全文；DocLink 表 + ReplaceDocLinks(入库/编辑时按 from 重建出链)
  + ListLinks。
- gateway: 入库/笔记保存时正则抽 [[链接]]→ReplaceDocLinks 维护索引；
  /kb/vault 改返元数据+预览；新增 /kb/doc(单篇全文) 与 /kb/links(全库双链)。
- 前端：listVault 返元数据，新增 getDoc/listLinks；VaultPanel 列表只展示名/字数，
  选中后 getDoc 按需载正文(带加载态)，反链/笔记关系图改用服务端 links 索引(不扫全文)。

验证：curl /kb/vault 仅 name/size/preview；/kb/doc 取单篇；/kb/links 返 3 条双链。
Preview：文库点「架构总览」按需载正文(平台分五层)、反向链接(1)=Dispatcher(来自索引)。tsc+vite+gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:53:23 +08:00
Blizzard 4fd44380aa refactor(store): DB 规约统一 —— 雪花字符串 id + created/updated/deleted_at 软删 
所有数据库映射结构体收敛到统一基类，清理混乱。

- store/base.go：BaseModel{ID string(雪花,bwmarrin/snowflake) PK, CreatedAt, UpdatedAt,
  DeletedAt gorm软删index} + BeforeCreate 生成 id + NewID()。
- 全模型嵌入 BaseModel：User/Task/LLMModel/KB/Doc/Agent（去掉各自 ID uint/CreatedAt）；
  Task 业务 id(task_xxx)挪到 TaskID 唯一列，主键统一雪花。
- 模型 id uint→string：admin :id 路由、SetActiveModel/DeleteModel/SaveModel、modelBody.ID。
- 一次性迁移 migrateLegacyIntIDs：检测旧整型 id（AutoMigrate 不改主键类型）→ 备份
  sundynix_model 行（唯一不可再生的 API 密钥）→ 删旧表 → 按新规约重建 → 回灌模型（新雪花 id）。
  其它表(User/Task/KB/Doc/Agent)为可重建测试数据，重置。
- Doc 预埋 Size/Preview/ObjectKey 字段，DocLink 表（为后续 B/C）。

验证：重启 gateway → 日志"回灌 2 条模型配置"；PG sundynix_model.id=varchar、有
created_at/updated_at/deleted_at；DeepSeek/百炼 密钥保留(keylen 35)；admin 列表返回
雪花 string id + 脱敏 key；健康五灯全绿。gateway build 通过。

注：mcp-go 的 sundynix_user_profile(Profile) 模型尚未套同规约，待跟进对齐。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:45:52 +08:00
Blizzard 4bf614a07c feat(studio): Agent 编排服务端保存 + 我的编排列表（owner 隔离） 
编排好的 Agent 现在可命名保存到服务端、跨会话可见；左侧「我的编排」列出本人全部。

- store: sundynix_agent 表（owner+name 唯一，Graph=React Flow {nodes,edges} JSON 含布局，
  UpdatedAt）；ListAgents(最近在前)/SaveAgent(OnConflict 覆盖图+时间)/DeleteAgent。AutoMigrate +Agent。
- gateway: GET/POST/DELETE /api/v1/agents（owner 隔离，身份取自 X-User-ID）。
- 前端：api listAgents/saveAgent/deleteAgent；StudioView 左面板下半区「我的编排(N)」列出本人编排，
  点击载入(含布局)、悬停删除；工具栏 编排名+保存(服务端)，去掉 localStorage 模板。

验证：curl 保存「合同审查流程」→ wt 列表含之，alice 列表为空(隔离)。Preview：示例图填名「尽调问答
Agent」保存 → 左「我的编排(2)」即时出现两条、可点载入。tsc+vite+gateway build 通过；重建 .app。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:23:03 +08:00
Blizzard 55c85302b6 feat(kb): Obsidian 式文库 —— 笔记浏览 + [[双链]] + 反向链接（Tab 化） 
把知识库做出 Obsidian 感：入库的每份文件/笔记留原文，可浏览、可读、可互链。

- store: sundynix_doc（owner+kb+name 唯一，存原文），SaveDoc(OnConflict 覆盖)/ListVault。
- gateway: runIngest 留存原文（文件用文件名、文本用首行作笔记名）；GET /kb/vault?kb= 取文库（owner 隔离）。
- Markdown 组件：解析 [[名称]] / [[名称|别名]] → onLink 可点（Obsidian 双链）。
- KbView 改 Tab（入库 / 文库 / 检索 / 图谱）：
  - 文库 = 左文档列表 + 右 Markdown 笔记（[[双链]]点击跳转）+ 反向链接面板（扫全库 [[本笔记]]）。
  - 检索、图谱各占整页；图谱放大到 460。

验证(Preview)：入两条带 [[双链]] 的笔记 → 文库列出 2 篇 → 打开「项目A概述」渲染出可点的
[[模块X]][[模块Y]] + 反向链接显示「模块X」→ 点 [[模块X]] 跳转到该笔记、其 [[项目A概述]] 亦可点。
curl 证隔离：alice 取 wt 的 vault → 空。tsc+vite+gateway build 通过；重建 .app 重启窗口。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:06:31 +08:00
Blizzard 3a175e46f3 feat(kb): 批量文件入库(文件列表) + 项目/案件知识库 + owner 作用域隔离 
回应三点诉求：一次入一批文件、按文件夹/项目/案件组织、且只有我能查我的库。

隔离（核心）：知识库实际分区键 = "owner/name"，owner 由网关从 X-User-ID 注入，
客户端只发库名、发不了 owner —— 故任何人都只能查到自己 owner 前缀下的数据。
- gateway: scopedKB(owner/kb) 注入 ingest/search/graph；ingest/search/graph 全部带身份头。
- store: sundynix_kb 注册表（owner+name 唯一 + kind），ListKB/EnsureKB(OnConflict DoNothing)。

项目/案件组织：
- gateway: GET /kb/list（owner 隔离列表）、POST /kb/create（folder/project/case/general）；
  入库时 EnsureKB 自动登记。
- 前端: KbView 顶部知识库下拉 + 新建（项目/案件/文件夹/通用），检索/图谱/入库都绑定所选库。

批量文件：
- 前端: 选择文件(multiple) + 选择文件夹(webkitdirectory) + 拖拽一批 → 每文件一个 job，
  文件列表实时显示各自状态（排队/解析/向量化/写入/抽取/完成/失败）+ 完成/失败计数。

验证：curl 证隔离 —— wt 入 default→可检索；alice 查同名 default→[] 空；alice 列表不含 wt 案件库。
Preview 证 UI —— 知识库下拉含 案件-2024-001(案件)+default(通用)、owner 隔离徽标、批量/文件夹按钮。
tsc+vite+gateway build 通过；重建 .app 重启窗口。

注：身份目前来自 X-User-ID 头（可信前端），生产应换 JWT 鉴权中间件——隔离机制(owner 前缀)已就位。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:50:33 +08:00
Blizzard 3b54e59ecf feat: embedding 配置搬上控制面 — 数据源页可视化配置 + 热更新 
embedding 从 env 改为控制面驱动(持久化+可视化)，复用 chat 模型同套范式：
配置控制面泛化为按 kind(chat/embedding)，加 embedding kind。

- shared: 配置 subjects 泛化 sundynix.config.<kind>.get/.updated；bus 方法改 kind 参数
  (RequestConfig/ServeConfig/PublishConfigUpdated/SubscribeConfigUpdated)
- gateway: sundynix_model 加 kind 列(每 kind 唯一激活)+旧行回填 chat；admin 按 kind
  增删改/激活/列表，测试连接 embedding 走 POST /embeddings；main 按 kind ServeConfig；
  变更广播各 kind
- dispatcher: 取 chat 配置(kind 化)
- mcp-go: rag.Engine.SetEmbedding 热更新(RWMutex)；main 取/订阅 embedding 控制面配置
  (覆盖 env)
- admin 控制台: api 按 kind；抽出复用 ModelManager；ModelsPage(chat)+新 DatasourcesPage
  (embedding + 向量/图库占位)；routes 数据源页就绪
- 验证: 全模块 build✓ + e2e PASS + 控制台 npm build✓；live 全跑通——chat(DeepSeek 回填
  kind 仍工作)；mcp-go 不带 EMBED env 启动→控制台配 embedding(百炼)→测试连接✓→激活
  →NATS 热更新 mcp-go→入库+语义检索'存向量的数据库'→Milvus；浏览器数据源页拉到激活配置

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:25:54 +08:00
Blizzard 3c65189f30 feat: 配置控制面 + LLM Pool 接第三方在线 API (OpenAI 兼容) 
后端从占位回显变为真实生成：管理员经控制面登记/激活模型，Gateway 经 NATS
下发，Dispatcher 热更新 LLM Pool，Eino 图用 OpenAI 兼容流式真实推理。

- shared: contract.ModelConfig(provider/base_url/api_key/model) + 配置 subjects;
  bus.RequestModelConfig/ServeModelConfig/Publish/Subscribe ModelConfigUpdated
- gateway: store.LLMModel→sundynix_model(AutoMigrate,唯一激活) + admin REST
  (GET/POST/active/delete/test models, api_key 脱敏) + main ServeModelConfig +
  变更广播; 路由 /api/v1/admin/models*
- dispatcher: llm.Pool OpenAI 兼容 SSE 流式客户端(ChatStream) + 热更新配置 +
  未配置则降级桩; poolModel.Ready()?真实流式:注入记忆的桩; main 取配置+订阅
- 开发期接在线 API 不拉本地模型(见 llm-provider-strategy memory)
- 验证: 4 模块 build✓ + e2e PASS; mock OpenAI 服务 live 跑通——登记/测试连接✓/
  激活→NATS 热更新→提交→真实 SSE 流出 mock 回复, mock 日志证明端点被调用且
  注入画像(老王)进了模型上下文

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 15:41:39 +08:00
Blizzard e5fa0ae36c feat: Gateway store 桩换真实 GORM/Postgres + go-redis (含自动迁移与优雅降级) 
第 2 层网关持久层落地，遵守 sundynix_ 表名前缀 + AutoMigrate 约定。

- store: GORM(NamingStrategy 前缀 sundynix_/单数) → User=sundynix_user, Task=sundynix_task
  启动 AutoMigrate；go-redis/v9 滑动窗口限流(Incr+Expire,按 IP)
- 优雅降级：连不上库则 warn 继续(不 fatal)，保证无 Docker 的 make demo 仍跑通
- handler: SubmitTask 持久化任务(best-effort)，Billing 真实读库返回 tasks_submitted
- main: OpenPostgres/OpenRedis 读 POSTGRES_DSN/REDIS_ADDR 环境变量
- 验证: 4 模块 build ✓；e2e 3 测试 PASS；live 双路径(真实库持久化 + 坏DSN降级)实测通过

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 11:43:53 +08:00
Blizzard c7a02c3905 feat: 初始化 sundynix-agentix 分层式 AI Agent 平台脚手架 
5 层 + 1 条 NATS 零拷贝消息总线的 monorepo（Monolith First → Microservices Morph B）。
纵向主干（任务流 + Token 流回流）已真实跑通，横向各层能力为带注释的桩。

已贯通（real code）:
- sundynix-shared: 共享契约 + JetStream/core NATS 真实收发(bus) + 内嵌 NATS(devnats) + e2e 测试
- sundynix-gateway: Gin 接入 + DSL 解析组装 + NATS Publish + SSE 流式输出
- sundynix-dispatcher: NATS 消费 + Eino Orchestrator 流式回流 + 熔断器 + LLM Pool 占位流式
- 链路: HTTP POST → DSL → sundynix.tasks.* → Dispatcher → Token 经 sundynix.streams.<id> 回流 → SSE
- 基础设施: docker-compose(nats/postgres/redis/neo4j/milvus) + Makefile(make demo/e2e)

待填(桩):
- Eino 图编排 compose.NewGraph、LLM Pool 接 vLLM/Ollama
- Gateway store 换真实 pgx/redis
- sundynix-mcp-go: Bleve+Milvus+Neo4j 混合检索 / UniOffice / 外部 API
- sundynix-mcp-py: gVisor 沙箱 / MinerU(PaddleOCR) / Docker 解释器
- sundynix-desktop: React Flow 画布 → DSL 导出 → SSE 展示
 2026-06-10 11:00:29 +08:00