Auto-evaluator 是一个轻量级的评估工具,用于使用 Langchain 进行自动问答。它的工作流程如下:

  1. 用户输入一组感兴趣的文档。
  2. 使用 LLM(GPT-3.5-turbo)从这些文档中自动生成问题和答案对。
  3. 使用指定的一组 UI 配置生成问答链。
  4. 使用问答链为每个问题生成答案。
  5. 使用 LLM(GPT-3.5-turbo)相对于答案评分生成的响应。
  6. 探索各种链配置的评分。

Auto-evaluator 可以帮助用户快速评估自动问答系统的质量和效率,并提供改进建议。它使用强大的 Langchain 技术和 GPT-3.5-turbo 模型,确保生成的答案准确性和质量。

如果您是自动问答系统的开发人员或研究人员,Auto-evaluator 是一个不可或缺的工具,可以帮助您更好地评估您的系统并进行改进。

了解更多信息,请访问 Auto-evaluator 的 GitHub 仓库:https://github.com/PineappleExpress808/auto-evaluator