OpenAI Load Balancer 是一个 Python 库，旨在将 API 请求分发到多个端点（支持 OpenAI 和 Azure）。它实现了循环轮询的负载均衡机制，并包含指数退避以重试失败的请求。
这个开源项目可以帮助开发者更好地管理和处理 GPT 请求，确保系统的稳定性和可靠性。它支持 OpenAI 和 Azure 两种 API，可以根据配置将请求分发到不同的端点，实现负载均衡。同时，它还包含了指数退避的机制，可以在请求失败时进行重试，提高请求的成功率。
您可以通过访问 OpenAI+Azure Fail Safe GitHub 仓库 获取更多信息。