Запросы (API)
Стриминг (SSE)
Добавьте "stream": true — и ответ придёт server-sent events (SSE), токен за токеном.
Форматы стриминга
- OpenAI-поверхность: чанки
chat.completion.chunk, финальный чанк несёт счётчик usage. - Anthropic-поверхность: нативные события
message_start→content_block_delta→message_delta→message_stop.
Биллинг при стриминге
Списание и логирование происходят даже если клиент оборвал соединение посреди стрима — токены, потраченные апстримом, не теряются.