跳到主要内容
api工厂
AI 开发

AI 流式 UI 前端实现:SSE 解析、打字机渲染与中断兜底

api工厂资讯栏目 约 6 分钟阅读
本文由 AI 辅助生成,内容基于公开资讯整理改写,技术细节以官方文档为准。

结论先行:AI 对话前端的流式体验由三块拼成——用 fetch + ReadableStream 正确解析 SSE 帧、用批量合并的打字机渲染避免高频 setState 卡死页面、用 AbortController 加超时与断线兜底保证任何异常都有终态。EventSource 只适合无鉴权的简单 GET 场景,主流 LLM 接口是 POST + 自定义头,必须手写解析。本文给出可直接使用的完整实现。

一、为什么不用 EventSource

EventSource 是浏览器原生 SSE 客户端,但限制明显:只支持 GET、不能带自定义请求头(Authorization 没法传)、不能传请求体。而 LLM 流式接口普遍是 POST + Bearer 鉴权 + JSON body,所以生产实现基本都用 fetch 流式读取。SSE 帧格式本身很简单:以 data: 开头的行,帧与帧之间用空行分隔,结束标记通常是 data: [DONE]。

二、SSE 解析:处理半帧与多帧

网络分包不保证按帧到达,一个 chunk 可能是半帧,也可能含三帧,必须用缓冲区按空行切分:

typescript
async function streamChat(body: object, onDelta: (t: string) => void, signal: AbortSignal) {
  const resp = await fetch('/api/chat', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json', 'Authorization': 'Bearer ' + token },
    body: JSON.stringify(body),
    signal
  });
  if (!resp.ok || !resp.body) throw new Error('HTTP ' + resp.status);
  const reader = resp.body.getReader();
  const decoder = new TextDecoder();
  let buf = '';
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += decoder.decode(value, { stream: true });
    const frames = buf.split('\n\n');
    buf = frames.pop() ?? '';
    for (const frame of frames) {
      for (const line of frame.split('\n')) {
        if (!line.startsWith('data:')) continue;
        const payload = line.slice(5).trim();
        if (payload === '[DONE]') return;
        const delta = JSON.parse(payload).choices?.[0]?.delta?.content;
        if (delta) onDelta(delta);
      }
    }
  }
}

三个易错点:decode 必须带 { stream: true },否则多字节中文被分包截断会出乱码;buf 里剩下的半帧要留到下一轮;JSON.parse 要包 try-catch,服务端偶发的注释行或心跳帧不应中断整个流。

三、打字机渲染:合并更新而不是逐 token setState

token 到达频率可达每秒几十个,每个都触发 React 重渲染会把 Markdown 解析与代码高亮拖成幻灯片。正确做法是「写入缓冲、定时刷出」:

typescript
const bufferRef = useRef('');
useEffect(() => {
  const timer = setInterval(() => {
    if (bufferRef.current) {
      setText(t => t + bufferRef.current);
      bufferRef.current = '';
    }
  }, 50);
  return () => clearInterval(timer);
}, []);
// onDelta 回调里只做:bufferRef.current += delta

50ms 合并一次,人眼感知仍是连续打字,渲染压力降一个数量级。再配两阶段渲染:流式期间只渲染纯文本,结束后再做 Markdown 解析与高亮(可用 requestIdleCallback 调度)。滚动跟随要判断用户是否手动上滚,上滚后停止自动吸底,否则用户没法回看。

四、中断与兜底:任何路径都要有终态

typescript
const ctrl = new AbortController();
const timeout = setTimeout(() => ctrl.abort(), 60000);
try {
  await streamChat(body, onDelta, ctrl.signal);
  setStatus('done');
} catch (e) {
  if (ctrl.signal.aborted) setStatus('stopped');
  else setStatus('error');
} finally {
  clearTimeout(timeout);
}

纪律清单:用户点「停止」调用 ctrl.abort(),已生成的半截回答要保留并标注「已停止」,提供「继续生成」入口;超时与网络错误进入 error 态并给重试按钮,绝不能让 UI 永远停在「生成中」;组件卸载时 abort,防止 setState 泄漏;服务端中断(流提前结束但没有 [DONE])按完成处理但提示可能不完整。会话历史建议落库而不是只存内存,刷新即丢的对话体验很差——没有自建后端的团队可以用 api工厂的 CMS 与用户会员能力快速补上会话存储与鉴权,前端 SDK 与接口见 https://www.it120.cc/ ,把精力留给流式体验本身。

五、验收清单

  • 中文长回答无乱码(分包截断测试);
  • 每秒 40 token 输入下页面交互不掉帧;
  • 停止、超时、断网、服务端 500 四种路径都有明确终态与恢复入口;
  • 刷新页面后历史会话可恢复;
  • 用户上滚阅读时不被强制拉回底部。

流式 UI 的难点从来不是「显示字」,而是把所有异常路径都收敛到可恢复的终态。把上面四块拼起来,就是一个生产可用的最小实现。

文章标签

前端SSE流式渲染AI应用

相关产品

api工厂是面向开发者的开放 SaaS 平台:开箱即用的后台管理系统 + 全端 SDK,只需前端开发即可构建小程序、App、H5 与网站。

WebGPU端侧AI浏览器

浏览器端 AI:WebGPU 与端侧小模型的能与不能

WebGPU 让浏览器跑量化小模型成为生产选项,价值在隐私、离线与零延迟,约束在尺寸、质量与首次下载。本文客观盘点支持现状,给出检测回退代码与端云协同架构。

AI 开发约 5 分钟阅读
提示词工程AI编程验收标准

提示词工程实战:验收标准驱动的任务描述

给 AI 写任务最有效的结构是验收标准驱动:完成条件写成可执行命令与可观察行为。本文用三组前后对比示例说明差距,给出可复用模板与规则沉淀方法。

AI 开发约 5 分钟阅读