我目前正在 Azure OpenAI 上使用即用即付模式,我很好奇切换到预配置的吞吐量单元将如何改善延迟。
我:
可预测的性能:统一工作负载的稳定最大延迟和吞吐量。
使用预配置的吞吐量单位通过 Azure 访问 OpenAI 模型的最大延迟是多少?
我目前正在 Azure OpenAI 上使用即用即付模式,我很好奇切换到预配置的吞吐量单元将如何改善延迟。
我:
可预测的性能:统一工作负载的稳定最大延迟和吞吐量。
使用预配置的吞吐量单位通过 Azure 访问 OpenAI 模型的最大延迟是多少?
|