结论先行:AI 对话前端的流式体验由三块拼成——用 fetch + ReadableStream 正确解析 SSE 帧、用批量合并的打字机渲染避免高频 setState 卡死页面、用 AbortController 加超时与断线兜底保证任何异常都有终态。EventSource 只适合无鉴权的简单 GET 场景,主流 LLM 接口是 POST + 自定义头,必须手写解析。本文给出可直接使用的完整实现。
一、为什么不用 EventSource
EventSource 是浏览器原生 SSE 客户端,但限制明显:只支持 GET、不能带自定义请求头(Authorization 没法传)、不能传请求体。而 LLM 流式接口普遍是 POST + Bearer 鉴权 + JSON body,所以生产实现基本都用 fetch 流式读取。SSE 帧格式本身很简单:以 data: 开头的行,帧与帧之间用空行分隔,结束标记通常是 data: [DONE]。
二、SSE 解析:处理半帧与多帧
网络分包不保证按帧到达,一个 chunk 可能是半帧,也可能含三帧,必须用缓冲区按空行切分:
async function streamChat(body: object, onDelta: (t: string) => void, signal: AbortSignal) {
const resp = await fetch('/api/chat', {
method: 'POST',
headers: { 'Content-Type': 'application/json', 'Authorization': 'Bearer ' + token },
body: JSON.stringify(body),
signal
});
if (!resp.ok || !resp.body) throw new Error('HTTP ' + resp.status);
const reader = resp.body.getReader();
const decoder = new TextDecoder();
let buf = '';
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += decoder.decode(value, { stream: true });
const frames = buf.split('\n\n');
buf = frames.pop() ?? '';
for (const frame of frames) {
for (const line of frame.split('\n')) {
if (!line.startsWith('data:')) continue;
const payload = line.slice(5).trim();
if (payload === '[DONE]') return;
const delta = JSON.parse(payload).choices?.[0]?.delta?.content;
if (delta) onDelta(delta);
}
}
}
}三个易错点:decode 必须带 { stream: true },否则多字节中文被分包截断会出乱码;buf 里剩下的半帧要留到下一轮;JSON.parse 要包 try-catch,服务端偶发的注释行或心跳帧不应中断整个流。
三、打字机渲染:合并更新而不是逐 token setState
token 到达频率可达每秒几十个,每个都触发 React 重渲染会把 Markdown 解析与代码高亮拖成幻灯片。正确做法是「写入缓冲、定时刷出」:
const bufferRef = useRef('');
useEffect(() => {
const timer = setInterval(() => {
if (bufferRef.current) {
setText(t => t + bufferRef.current);
bufferRef.current = '';
}
}, 50);
return () => clearInterval(timer);
}, []);
// onDelta 回调里只做:bufferRef.current += delta50ms 合并一次,人眼感知仍是连续打字,渲染压力降一个数量级。再配两阶段渲染:流式期间只渲染纯文本,结束后再做 Markdown 解析与高亮(可用 requestIdleCallback 调度)。滚动跟随要判断用户是否手动上滚,上滚后停止自动吸底,否则用户没法回看。
四、中断与兜底:任何路径都要有终态
const ctrl = new AbortController();
const timeout = setTimeout(() => ctrl.abort(), 60000);
try {
await streamChat(body, onDelta, ctrl.signal);
setStatus('done');
} catch (e) {
if (ctrl.signal.aborted) setStatus('stopped');
else setStatus('error');
} finally {
clearTimeout(timeout);
}纪律清单:用户点「停止」调用 ctrl.abort(),已生成的半截回答要保留并标注「已停止」,提供「继续生成」入口;超时与网络错误进入 error 态并给重试按钮,绝不能让 UI 永远停在「生成中」;组件卸载时 abort,防止 setState 泄漏;服务端中断(流提前结束但没有 [DONE])按完成处理但提示可能不完整。会话历史建议落库而不是只存内存,刷新即丢的对话体验很差——没有自建后端的团队可以用 api工厂的 CMS 与用户会员能力快速补上会话存储与鉴权,前端 SDK 与接口见 https://www.it120.cc/ ,把精力留给流式体验本身。
五、验收清单
- 中文长回答无乱码(分包截断测试);
- 每秒 40 token 输入下页面交互不掉帧;
- 停止、超时、断网、服务端 500 四种路径都有明确终态与恢复入口;
- 刷新页面后历史会话可恢复;
- 用户上滚阅读时不被强制拉回底部。
流式 UI 的难点从来不是「显示字」,而是把所有异常路径都收敛到可恢复的终态。把上面四块拼起来,就是一个生产可用的最小实现。
文章标签
相关产品
api工厂是面向开发者的开放 SaaS 平台:开箱即用的后台管理系统 + 全端 SDK,只需前端开发即可构建小程序、App、H5 与网站。