大语言模型 | AIUI | Rokid

大语言模型用于完成问答、总结、提取、改写、生成和推理等任务。在 AIUI 中,它通常作为智能体的核心理解与生成能力。

大语言模型

大语言模型用于完成问答、总结、提取、改写、生成和推理等任务。在 AIUI 中,它通常作为智能体的核心理解与生成能力。

如果你的应用需要根据上下文生成回复,或者基于用户输入完成更复杂的语义处理,通常可以从 LanguageModel 开始。

开始前先判断可用性

const status = await LanguageModel.availability();

if (status !== 'available') {
  throw new Error('LanguageModel 当前不可用');
}

创建会话

const session = await LanguageModel.create({
  initialPrompts: [
    { role: 'system', content: '请用简洁中文回答。' },
  ],
});

一次性请求

const text = await session.prompt('请用一句话介绍 AIUI');
console.log(text);

上传图片给模型

需要让模型理解本地图片时,可以把图片作为 Blob 导入,转换为 Data URL,再和问题一起放入用户消息的 content 数组:

import productPhoto, { mimeType } from '../../assets/product.jpg';

async function blobToDataUrl(blob, type) {
  const bytes = new Uint8Array(await blob.arrayBuffer());
  const chunkSize = 0x8000;
  let binary = '';

  for (let offset = 0; offset < bytes.length; offset += chunkSize) {
    binary += String.fromCharCode(
      ...bytes.subarray(offset, offset + chunkSize)
    );
  }

  return `data:${type};base64,${btoa(binary)}`;
}

const session = await LanguageModel.create();
const imageUrl = await blobToDataUrl(productPhoto, mimeType);
const answer = await session.prompt([
  {
    role: 'user',
    content: [
      {
        type: 'text',
        text: '请描述图片中的商品,并列出主要颜色。',
      },
      {
        type: 'image_url',
        image_url: { url: imageUrl },
      },
    ],
  },
]);

console.log(answer);
session.destroy();

从相机获得的图片也可以使用相同方式处理:ImageCapture.takePhoto() 返回 Blob,将它传给 blobToDataUrl() 即可。

如果图片已经有可以公开访问的 HTTPS 地址,则不需要转换 Base64,可以直接设置 image_url.url:

const answer = await session.prompt([
  {
    role: 'user',
    content: [
      { type: 'text', text: '这张图片里有什么?' },
      {
        type: 'image_url',
        image_url: { url: 'https://example.com/photos/product.jpg' },
      },
    ],
  },
]);

所选模型必须支持图片输入。建议在上传前缩小尺寸并压缩图片,避免 Data URL 过大导致请求变慢或超出模型限制。

流式输出

const stream = session.promptStreaming('请分点总结这段内容');

while (true) {
  const { done, value } = await stream.read();
  if (done) break;
  if (value !== undefined) {
    console.log(value);
  }
}

tools 调用示例

如果你的模型请求需要声明可用工具,可以在创建会话时通过 tools 传入函数声明。当模型认为需要调用工具时,会触发 toolcall 事件。

声明工具并监听回调

const session = await LanguageModel.create({
  initialPrompts: [
    { role: 'system', content: '你是一个天气助手,请优先使用已声明的工具。' },
  ],
  tools: [
    {
      type: 'function',
      function: {
        name: 'get_weather',
        description: '查询某个城市的天气',
        parameters: {
          type: 'object',
          properties: {
            city: { type: 'string' },
          },
          required: ['city'],
        },
      },
    },
  ],
});

// 监听工具调用事件
session.addEventListener('toolcall', (event) => {
  console.log('收到工具调用请求:', event.functionName);
  console.log('参数:', event.arguments);

  if (event.functionName === 'get_weather') {
    // 处理天气查询逻辑
    const { city } = event.arguments;
    console.log(`正在查询 ${city} 的天气...`);
  }
});

const result = await session.prompt('帮我查询一下杭州今天天气');

当前能力边界

  • [x] 向模型声明可用函数及其参数结构。
  • [x] 通过 session.addEventListener('toolcall', ...) 接收结构化的工具调用请求。
  • [x] 后端返回的普通文本或文本增量通过 prompt() 或 promptStreaming() 暴露给前端。

适用场景

  • 对话式问答
  • 内容总结与改写
  • 信息提取与结构化输出
  • 流式生成回复
  • 带上下文的多轮交互

使用建议

  • 把会话视为一次有上下文的交互单元,而不是全局单例。
  • 对长文本输出优先使用 promptStreaming(),更适合做增量展示和播报联动。
  • 当页面离开、会话结束或不再需要上下文时,及时调用 destroy()。
  • 如果业务需要声明工具能力,可以在 create() 时通过 tools 传入函数声明。

注意事项

  • 同一个会话在同一时间只应运行一个活跃请求。
  • initialPrompts 更适合放系统约束和初始上下文,不建议把每次用户输入都塞进去。
  • 如果没有显式传入 model,运行环境需要提供默认模型配置。
  • 流式输出返回的是轮询式读取对象,适合逐段消费文本增量。

继续阅读

  • 语音识别:查看如何把用户语音输入交给模型处理。
  • 语音播报:查看如何把模型回复播报给用户。

API Reference

入口

LanguageModel 可以直接使用,也可以从内置模块导入:

const status = await LanguageModel.availability();
import { LanguageModel } from 'language-model';

常用方法

availability()

  • 返回值:Promise<'available' | 'unavailable'>
  • 说明:检查当前运行环境是否可提供大语言模型能力。

create(options?)

  • 返回值:Promise<LanguageModelSession>
  • 说明:创建一个新的模型会话。

prompt(input)

  • 返回值:Promise<string>
  • 说明:发送一次请求,并在完成后返回最终文本。input 可以是字符串,也可以是 LanguageModelMessage[]。

promptStreaming(input)

  • 返回值:LanguageModelTextStream
  • 说明:发起流式请求,逐步读取模型增量输出。

clone()

  • 说明:复制当前会话上下文,创建一个新的独立会话。

destroy()

  • 说明:销毁当前会话,释放后续使用所需的会话资源。

图片输入消息

图片输入只能放在 role: 'user' 的结构化消息中。content 是一个内容数组,可以同时包含文字和一张或多张图片。

内容类型结构说明
文字{ type: 'text', text: string }text 不能为空。
图片{ type: 'image_url', image_url: { url: string } }url 可以是模型能够访问的图片地址或图片 Data URL,不能为空。

system 和 assistant 消息只支持字符串 content,不能使用图片内容数组。空的内容数组、空文字或空图片 URL 会导致调用失败。

toolcall 事件对象

toolcall 事件对象包含以下属性:

  • callId: 工具调用的唯一标识符。
  • functionName: 要调用的函数名称。
  • arguments: 经过解析的函数参数(通常是一个 JavaScript 对象)。
  • toolType: 工具类型,当前固定为 "function"。
  • index: 该工具调用在当前请求中的索引。
  • isComplete: 标识该工具调用是否已完成,当前固定为 true。