liteLLM 是一个集成化的人工智能 API 库,旨在简化使用来自 OpenAI、Azure、Cohere、Anthropic、Replicate 和 Google 等多家公司的 LLM(语言模型)API。
该库提供了一种统一的方式来调用所有 LLM APIs,使用 chatGPT 格式:completion(model, messages)。无论是哪家公司的 API,输出和异常都得到了一致的处理。此外,liteLLM 还提供了日志记录和错误追踪功能,方便用户进行模型调用的监控和问题排查。
您可以在 liteLLM 的 GitHub 仓库 获取更多信息。