总览 | AIUI | Rokid

如果你是第一次接触 AIUI,可以先把它理解成一套用来开发“有智能、能交互、能运行在新型设备上的智能体”的框架。

总览

如果你是第一次接触 AIUI,可以先把它理解成一套用来开发“有智能、能交互、能运行在新型设备上的智能体”的框架。

它不是单纯的聊天机器人,也不只是一个普通的界面框架。AIUI 更像是一套把 AI 能力、用户界面、设备能力 和 智能体逻辑 组织到一起的开发方式,让开发者可以做出真正可用的智能体产品。

AIUI 将 AI、交互界面与多种设备能力连接在一起

从眼镜上的轻量提示,到可持续操作的任务界面,再到摄像头、语音和传感器,AIUI 让同一个智能体可以按场景组合不同的交互与设备能力。

AIUI 主要是做什么的?

一句话来说:

AIUI 用来开发面向 AI 场景的交互式智能体,让 AI 不只是“会回答”,而是“会理解、会操作、会反馈”。

比如,一个普通的 AI 对话产品,用户问一句,模型答一句,交互基本停留在文本里。

但在 AIUI 里,用户提出需求之后,系统可以:

  • 理解用户现在想做什么
  • 选择合适的交互方式来承接这个需求
  • 调用页面、组件、网络、设备或 AI 能力去完成任务
  • 把结果通过界面、卡片、状态变化、语音或其他反馈方式返回给用户

这意味着 AIUI 更适合做下面这类产品:

  • 能对话,也能操作界面的智能体
  • 运行在 AI 眼镜、AR 设备、终端设备上的智能体
  • 既需要 AI 理解能力,也需要真实交互流程的智能体产品
  • 既有“回答”,也有“执行”和“反馈”的智能体

AIUI 和普通应用(App)有什么不同?

普通应用(App)框架更关心这些问题:

  • 页面怎么写
  • 数据怎么更新
  • 按钮怎么响应

而 AIUI 除了这些,还更关心下面的问题:

  • 用户现在的真实意图是什么
  • 系统应该用什么方式承接这个意图
  • 什么时候应该展示界面,什么时候应该直接回答
  • 什么时候应该调用 AI,什么时候应该调用设备能力
  • 用户是否需要持续反馈,而不是一次性结果

所以,AIUI 不只是一个“页面开发框架”,更是一套 意图驱动的开发框架。

AIUI 的整体架构是什么?

你可以先把 AIUI 的整体架构理解成四个部分:

  1. 智能体定义
  2. 交互界面
  3. 运行逻辑
  4. 底层能力

它们一起工作,形成一条完整链路:

用户提出需求 -> 系统理解意图 -> 智能体决定怎么处理 -> 界面和能力一起完成任务 -> 结果反馈给用户

AIUI 从用户请求到结果反馈的交互闭环

这不是一条只执行一次的流水线。用户可以根据反馈继续操作或补充意图,智能体再进入下一轮理解、执行与反馈。

下面分别解释。

1. 智能体定义

这一层决定“这个智能体是谁、会做什么、擅长什么、边界是什么”。

比如:

  • 它是一个天气助手,还是一个导航助手
  • 它擅长查资料,还是擅长帮用户操作设备
  • 它应该用什么语气和用户沟通
  • 它在什么情况下应该展示 UI,什么情况下只需要文字回复

这一部分通常由像 AGENTS.md 这样的描述文件来承载。

你可以把它理解成:给智能体设定身份和工作方式。

2. 交互界面

这一层决定“用户看到什么、点什么、怎么继续操作”。

在 AIUI 里,界面不只是装饰,而是交互的一部分。它可以是:

  • 聊天中的卡片
  • 一个独立页面
  • 一个便于快速查看的 Widget
  • 一个按钮面板
  • 一组状态提示
  • 一个持续更新的任务界面

也就是说,AIUI 里的 UI 不是单纯“把内容显示出来”,而是用来承接用户意图、收集用户操作、返回系统反馈的。

3. 运行逻辑

这一层决定“系统内部怎么处理事情”。

比如:

  • Page 或 Widget 什么时候显示
  • 哪些共享任务由 Agent Worker 管理
  • 用户点击按钮后要做什么
  • 如何请求网络数据
  • 如何更新状态
  • 如何把新结果同步到界面上

这部分可以理解成智能体的“大脑和流程控制层”。

4. 底层能力

这一层决定“系统到底能调用什么真实能力”。

例如:

  • AI 能力:语音识别、语音播报、大语言模型
  • 网络能力:请求远程接口、获取实时数据
  • 设备能力:连接 BLE 外设、读取传感器或使用摄像头
  • 渲染能力:把界面高效显示在设备上

如果说界面负责“看得见”,逻辑负责“想得通”,那么底层能力负责“做得到”。

AIUI 分成哪几个部分?

如果从 AIUI 自身的构成来看,你可以把它先理解成下面六个部分:

AIUI 六个核心模块及其关系

上图展示了这些模块如何配合:智能体框架 负责组织应用,内置组件 和 API 分别承接界面与能力,最终由 Ink 运行时 执行;设计规范 与 开发者工具 则贯穿整个开发过程。

1. 智能体框架

这是 AIUI 的上层组织方式,决定智能体如何被定义、如何理解用户意图、如何组织页面、逻辑和交互流程。

这一层回答的是:

  • 智能体是什么
  • 用户意图如何被承接
  • 对话式和沉浸式交互有什么区别
  • Page、Widget、Agent Worker、逻辑和状态是怎么组织起来的

你可以把它理解成:AIUI 的“大脑结构”和交互组织方式。

2. 智能体运行时(Ink)

这是 AIUI 的底层运行基础,负责执行代码、驱动 Page 与 Widget,并运行 Agent Worker 后台任务。

这一层回答的是:

  • 代码最终在哪里运行
  • Page 或 Widget 更新是如何被执行的
  • 运行时如何连接界面、逻辑和底层能力
  • 为什么 AIUI 可以运行在 AI 眼镜、AR 设备等终端上

你可以把它理解成:AIUI 的“运行引擎”。

3. 内置组件

这是 AIUI 提供的一组现成 UI 组件,用来帮助开发者快速搭建智能体界面。

例如:

  • 基础展示组件
  • 交互组件
  • 媒体组件
  • AI 相关组件

这一部分解决的是“界面怎么搭起来”的问题。你不需要每次都从零开始写所有界面结构,而是可以直接复用 AIUI 提供的组件能力。

4. API

这是 AIUI 提供给开发者调用的能力接口。

例如:

  • 网络请求
  • 存储
  • 设备能力
  • AI 能力
  • 画布和多媒体能力

这一部分解决的是“智能体能做什么”的问题。组件负责把界面展示出来,API 则负责把真实能力接进来。

5. 设计规范

这是 AIUI 在视觉、交互和设备体验上的一套基础约束。

它会帮助开发者理解:

  • 界面应该怎样更适合 AI 交互
  • 在 AI 眼镜、AR 设备等场景下,信息应该如何展示
  • 什么样的布局、层级和反馈更适合持续交互

这一部分解决的是“智能体应该怎样设计得更合理、更易用”的问题。

6. 开发者工具

这是围绕 AIUI 开发流程配套的一整套工具能力。

例如:

  • CLI
  • 调试工具
  • 打包与发布工具
  • 性能分析与诊断工具

这一部分解决的是“怎么把智能体真正开发出来、调试好、发布出去”的问题。

如果把上面六部分放在一起理解,那么可以这样看:

  • 智能体框架 决定“怎么组织”
  • 智能体运行时(Ink) 决定“怎么运行”
  • 内置组件 决定“怎么展示”
  • API 决定“能做什么”
  • 设计规范 决定“怎么设计得更好”
  • 开发者工具 决定“怎么开发和发布”

一个最简单的理解方式

如果你觉得上面还是有点多,可以先记住下面这句话:

AIUI = AI + UI + 智能体逻辑 + 设备能力

再进一步一点,就是:

AIUI 是一套让 AI 真正进入产品交互流程的开发框架。

它不只是让 AI 说话,而是让 AI 能够:

  • 理解用户现在要做什么
  • 决定应该怎么回应
  • 调用合适的界面和能力
  • 持续把过程和结果反馈给用户

建议你接下来读什么

如果你已经读完这篇,可以继续按下面顺序阅读:

  1. 概念介绍:先把核心名词都弄明白
  2. 项目结构:了解一个 AIUI 项目是怎么组织的
  3. 智能体框架:理解 AIUI 的核心工作方式
  4. 快速开始:开始动手写第一个 AIUI 智能体

如果你现在还是新手,也完全没关系。你不需要一次把所有技术细节都看懂,只要先知道 AIUI 是“用来做什么的”,再逐步理解“它是怎么做的”,就已经是一个非常好的开始。