GPTCache：为 LLM 查询创建语义缓存的库

2023-04-18
GPTCache 是一个用于创建语义缓存以存储 LLM 查询响应的库。随着应用的增长，LLM API 调用相关的费用可能会变得非常高昂。此外，当处理大量请求时，LLM 服务可能会出现响应时间缓慢的问…