大语言模型
大语言模型 (LLM) 是智能体的核心理解和生成能力,用于完成问答、总结、提取、改写、生成和推理等任务。
在 AIUI 中,LanguageModel 让你可以直接从 JavaScript 发起模型请求,接收文本回复或流式增量输出。
适用场景
- 对话式问答
- 内容总结与改写
- 信息提取与结构化输出
- 流式生成回复(边生成边展示)
- 带上下文的多轮交互
基本用法
1. 检查可用性
const status = await LanguageModel.availability();
if (status !== 'available') {
throw new Error('LanguageModel 当前不可用');
}
2. 创建会话
const session = await LanguageModel.create({
initialPrompts: [
{ role: 'system', content: '请用简洁中文回答。' },
],
});
3. 发起一次请求
const text = await session.prompt('请用一句话介绍 AIUI');
console.log(text);
4. 流式输出
适合需要边生成边展示的场景:
const stream = session.promptStreaming('请分点总结这段内容');
while (true) {
const { done, value } = await stream.read();
if (done) break;
if (value !== undefined) {
console.log(value);
}
}
使用工具 (tools)
如果你的模型需要声明可用工具,可以在创建会话时通过 tools 传入函数声明。当模型认为需要调用工具时,会触发 toolcall 事件。
const session = await LanguageModel.create({
initialPrompts: [
{ role: 'system', content: '你是一个天气助手,请优先使用已声明的工具。' },
],
tools: [
{
type: 'function',
function: {
name: 'get_weather',
description: '查询某个城市的天气',
parameters: {
type: 'object',
properties: {
city: { type: 'string' },
},
required: ['city'],
},
},
},
],
});
// 监听工具调用事件
session.addEventListener('toolcall', (event) => {
if (event.functionName === 'get_weather') {
const { city } = event.arguments;
console.log(`正在查询 ${city} 的天气...`);
}
});
const result = await session.prompt('帮我查询一下杭州今天天气');
常用方法
| 方法 | 说明 |
|---|---|
availability() | 检查当前环境是否可提供大语言模型能力 |
create(options?) | 创建一个新的模型会话 |
prompt(input) | 发送一次请求并返回完整结果 |
promptStreaming(input) | 发起流式请求,逐步读取增量输出 |
clone() | 复制当前会话上下文 |
destroy() | 销毁会话并释放资源 |
使用建议
- 把会话视为一次有上下文的交互单元,而不是全局单例。
- 对长文本输出优先使用
promptStreaming(),更适合增量展示 and 播报联动。 - 同一会话在同一时间只应运行一个活跃请求。
initialPrompts适合放系统约束和初始上下文,不建议每次用户输入都塞进去。- 页面离开或会话结束时及时调用
destroy()。
注意事项
- 如果没有显式传入
model,运行环境需要提供默认模型配置。 - 流式输出返回轮询式读取对象,适合逐段消费文本增量。
- [x] 当前
tools支持通过toolcall事件在 JavaScript 中接收结构化调用请求。
继续阅读
- 语音识别:查看如何把用户语音输入转为文本交给模型。
- 语音播报:查看如何把模型回复播报给用户。
- 大语言模型 (API 参考):查看完整 API 参考文档。