استریم (SSE)
استریم پاسخها با Server-Sent Events انجام میشود. در چت با "stream": true هر تکه به شکل data: {...} میآید و جریان با data: [DONE] تمام میشود؛ آخرین تکهٔ پیش از پایان، مقادیر قطعی cost و توکنها را دارد. اندپوینت Responses رویدادهای نامدار میفرستد و prediction ها جریان مخصوص خود را در GET /v1/predictions/{id}/stream دارند.
قالب رویدادهای چت
هر خط data: یک JSON با ساختار chunk استاندارد OpenAI است (choices[0].delta.content). برای مدلهای کند، هدر پیشنهادی X-Suggest-Stream: true در پاسخهای غیراستریم میآید. یعنی بهتر است استریم را روشن کنید تا تایماوت سمت کلاینت رخ ندهد.
رویدادهای نامدار Responses
جریان POST /v1/responses رویدادهای response.created، response.output_item.added، response.content_part.delta (متن تکهتکه) و در پایان response.completed همراه با بلوک usage میفرستد و با data: [DONE] بسته میشود.