基于Agnes AI 的AI双脑协同架构 实现文生图以及图生视频

6 月 18 日下午,我双击了一下 Agnes AI 的安装脚本。 窗口闪了一下,什么也没发生。
6 月 21 日,我用同一套工具,生成了一只小猫的 5 秒视频。
这中间发生了什么?
答案是:两个 AI 和一个老师,分了三天的工。

【架构图】AI 双脑协同系统

这篇文章不是讲如何生成一只猫,而是记录一次 AI 双脑协同 实验。
为了避免读到最后才发现“原来猫只是实验对象”,先把整体架构摆出来:基于Agnes AI 的AI双脑协同架构 实现文生图以及图生视频

AGENTS.md 共享治理中心

规则·红线·边界

  • Codex表世界 Windows执行空间
    项目开发、代码生成、文档编写、工作流自动化、风险反向校验
  • OpenClaw里世界 Linux决策空间
    决策分析、多解释推理、风险评估

两侧独立:Obsidian第二大脑

共用模块:项目知识库、长期记忆库、工作日志、决策经验库、文档沉淀、规则演化库

搬运层(Temp)

项目成果/观察结论/决策结果
作用:两个AI世界数据临时流转,互不污染运行环境

AI双脑协同系统架构核心逻辑

执行与决策分离·知识与运行解·长期记忆与即时任务互不干扰

数智决策:观察·分析·决策·反馈

我的AI双脑协同架构 经过一年多的实践,我逐渐形成了一套 “双脑协同”的AI工作模式。

  1. 左边 Codex(表世界):运行Windows环境,执行脑,负责项目开发、代码生成、自动化执行和内容创作。
  2. 右边 OpenClaw(里世界):运行Linux环境,决策脑,负责复杂决策、多方案推演、风险评估和长期经验沉淀。

二者为平行协作关系,无主从区分;各自搭载独立Obsidian知识库作为“第二大脑”,沉淀项目经验、决策记录、长期知识。
顶层由AGENTS.md统一管控,包含行为边界、规则约束、上下文路由、安全红线。
项目成果、观察结论、决策结果通过临时搬运层双向流转,不会互相污染运行环境。

架构三句话总结

  1. Codex:Windows 执行空间,负责代码、命令、落地。
  2. OpenClaw:Linux 决策空间,负责分析、设计、验证。
  3. 我:不是调度员,是判断者——判断每一棒交接是否真的解决了我的问题。

下文完整记录本次架构跑通完整任务的全过程。

一、双击安装,结果什么也没发生

故事开始得很平淡。
我想试一下社区里很火的 Agnes AI——既能文生图,也能图生视频,关键是免费(适合我这种) 。听起来很适合放在我的工作流里,跑一些快速验证。

由于代码仓库在github上,很多小伙伴不方便下载,于是我自己写一个批处理文件双击安装.bat
当我点击这个双击安装.bat,本来可以进入api输入环节,但是出现意外,程序直接闪退。

操作过程:
于是我双击脚本 → 窗口闪了一下 → 无任何弹窗、日志、提示,程序直接消失。

二、第一反应不是重装,而是查问题

以往遇到这类问题,我的操作:

  1. 重新下载一遍压缩包
  2. 更换解压工具
  3. 重复双击安装脚本

本次更换思路:直接将安装包交给 OpenClaw(决策AI)分析定位问题。

OpenClaw诊断结论:

  1. bat脚本首行cd /d %~dp0用于切换至脚本所在目录,但代码添加2>nul屏蔽全部错误输出,用户无法查看报错信息;
  2. 致命缺陷:若脚本存放于网络共享UNC路径,cd /d指令不兼容UNC路径,执行直接失败。

故障逻辑链:双击安装脚本 → 窗口闪退 → 无任何提示
本质不是安装包损坏,是安装脚本本身存在缺陷。

三、Codex 改脚本:3 分钟修好

OpenClaw输出修复方案后,问题未完全解决,通过AI多元共享空间将问题同步至Codex执行AI。

Codex精准定位双击安装.bat故障代码行:

  1. 原脚本问题代码
    • 第16行:cd /d %~dp0 2>nul
    • 19-23行 copy复制指令同样携带2>nul屏蔽报错
  2. 修复替换方案
    • pushd "%~dp0":自动映射UNC路径临时盘符,兼容网络共享目录
    • echo [INFO] ...:打印脚本运行路径,输出日志方便排错
    • popd:程序结束自动恢复路径环境

修改完成后重新双击双击安装.bat:窗口不再闪退,程序正常启动安装Skill组件。

四、安装 Skill:一句命令搞定

脚本修复完成后,Agnes Skill自动部署至Codex技能目录:

部署完成后,Codex自动获得调用Agnes图像、视频模型的接口权限。
无需手动打开Codex技能配置页面,仅下发“安装”指令,剩余流程全自动执行。

五、生成第一只小猫:过程没有那么顺

部署完成后,下发指令让Codex执行文生图任务。

第一步:提示词

一只毛茸茸的小猫,坐在洒满阳光的窗台上,圆圆的眼睛,金色的阳光,柔和的色调。

第二步:模型运行参数

参数 数值
模型 agnes-image-2.1-flash
尺寸 1024 × 1024
耗时 ≈ 30 秒
状态 ✅ 成功

Codex自动发起接口调用,等待约30秒后图片生成完成,本次图文链路首次验证成功。

六、图生视频:第一次踩了 400 错误

图片生成完成后,下发指令将小猫图片转为5秒动态视频,需求:小猫自然眨眼、转头、晃动耳朵。

第一次尝试(失败)

项目 内容
模式 mode: “img2video”
运行结果 ❌ 400 接口错误
OpenClaw诊断结论 img2video是旧版接口参数;Agnes V2.0标准接口为ti2vid(图文联合生成视频),官方文档标注,但默认模板未同步更新

OpenClaw同步报错诊断信息至Codex,修正参数后二次执行。

第二次尝试(成功)

参数 数值
模型 agnes-video-v2.0
生成模式 ti2vid(参数已修正)
画面尺寸/总帧数 1088 × 832 / 121 帧(5s × 24fps)
轮询策略 21 次 × 3 秒 = ≈ 2 分钟
状态 ✅ 成功

视频生成为异步任务,Codex每3秒轮询一次接口查询任务进度,完整轮询日志:
[轮询 1/21] task pending…
[轮询 5/21] task processing…
[轮询 12/21] task processing…
[轮询 21/21] ✅ 视频生成完成!

任务成功后,Codex自动将视频文件下载至本地。

七、生成今天的”最终小猫”

6月18日产出的是初代测试小猫素材;6月21日使用完全相同流程重新运行,产出优化版本。

两次生成效果对比表

对比维度 6 月 18 日版本 6 月 21 日版本
提示词 完全相同 完全相同
模型参数 完全相同 完全相同
模型版本 image-2.1-flash image-2.1-flash(后台静默迭代更新)
视觉效果 背景杂乱 画面干净柔和,适合封面使用

关键结论:3天内模型后台静默迭代,迭代日志不对外更新,但输出效果存在明显优化;相同提示词、固定流程多次运行具备实际价值。

八、回到开头那张图:这次我到底在做什么

从最初双击脚本窗口闪退,到最终完整生成5秒小猫视频,完整链路分工逻辑:

  1. Codex(执行脑):修复bat脚本、部署Skill、调用AI接口、轮询视频任务
  2. OpenClaw(决策脑):故障诊断、参数修正、架构设计、流程复盘反思
  3. 我(人类判断者):成果验收、目标定义、最终拍板

Agnes AI仅作为底层生成工具,本次实验核心价值在于验证「AI多元宇宙协同架构」落地可行性。

整套协同体系完整分工:
每个AI存在能力边界,优势领域各不相同;清晰分工、接力配合即可完成完整业务链路。
人类是协同系统的最后一环,无法被AI替代:每一轮AI输出交接时,需要人工判断三点核心问题基于Agnes AI 的AI双脑协同架构 实现文生图以及图生视频

  1. 这个分析对吗?
  2. 这个执行到位吗?
  3. 这个结果能用吗?

AI无法自主定义“符合使用者需求”的标准,人工判断是协同系统不可缺少的最后一公里。

九、Codex 把整个流程落成了一组 .md

完整任务跑完后,Codex自动输出《系统结构总览》文档,无人工额外指令。
AI自主识别本次完整业务链路,主动沉淀可复用流程文档。

本次实验重要感悟:AI不再局限于单纯执行指令,已经具备识别任务边界、沉淀标准化流程的自主意识,是极具观察价值的新变化。

十、我真正验证的,不是一只猫

表层产出成果

  1. 小猫静态图片素材
  2. 5秒小猫动态视频
  3. 修复完成的Agnes AI安装批处理脚本

底层验证核心目标

OpenClaw负责分析问题、设计解决方案 + Codex负责代码修改、自动化任务落地 + 人类定义目标、校验输出结果,三方协同完成完整真实业务任务,整套模式具备落地可行性,且单人操作效率大幅提升。

过往使用AI仅作为独立工具;本次实验相当于搭建小型AI团队协同体系。

  • OpenClaw不擅长代码编写,但30秒内精准定位故障根源;
  • Codex不擅长全局决策推演,但3分钟批量修改多份脚本文件;
  • 我无需编写代码脚本,仅在两套AI输出内容中判断方案取舍。

本次实验无底层技术突破,核心验证结论:AI不只是独立聊天窗口,可搭建多智能体协同工作系统;相比新增工具,搭建协同体系价值更高。

附:本次实验沉淀实操经验

  1. 安装脚本双击闪退,优先排查脚本代码缺陷,不要第一时间重装/更换安装包;
  2. 分工逻辑固化:OpenClaw适配分析、方案设计;Codex适配代码执行、落地操作,分工协作稳定性远高于单AI单兵作战;
  3. Agnes V2.0接口变更重点:视频生成参数ti2vid,旧参数img2video已废弃,官方模板存在更新滞后问题;
  4. 异步任务轮询需要设置上限与固定间隔,本次21次×3秒总计63秒轮询周期,可覆盖绝大多数生成任务;
  5. AI已经能够自主识别完整任务边界、沉淀标准化流程,是下一阶段AI应用重点观察方向。

实操建议:若你存在长期无法跑通的AI项目,可尝试分工模式:一套AI负责思考推演,一套AI负责落地执行,人类负责最终判断。精准分工,远比追求单一个全能AI更有实用价值。

原创文章,作者:博主,如若转载,请注明出处:https://www.unmao.com/tech/976.html

下载资源版权归原作者所有,若有侵权,请邮件ziyeblog@126.com及时删除。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
博主的头像博主管理员
上一篇 2026-06-21 17:06
下一篇 2026-06-23 09:22

相关推荐

发表回复

登录后才能评论
微信
QQ

博主邮箱:ziyeblog@126.com

打赏