我目前正在 Azure OpenAI 上使用即用即付模式,我很好奇切换到预配置的吞吐量单元将如何改善延迟。

可预测的性能:统一工作负载的稳定最大延迟和吞吐量。

使用预配置的吞吐量单位通过 Azure 访问 OpenAI 模型的最大延迟是多少?

0