MosaicML 发布了最新的 MPT-7B，是他们 MosaicML Foundation 系列的最新成员。MPT-7B 是一个基于 1000B 文本和代码训练的 transformer 模型，支持商业使用并开源，与 LLaMA-7B 的质量相当。MPT-7B 在 MosaicML 平台上训练了 9.5 天，花费约 200k 美元，完全没有人工干预。从今天开始，您可以从我们的检查点开始训练、微调和部署自己的 MPT 模型，也可以从头开始训练。除了基础的 MPT-7B，为了给您提供更多的灵感，我们还发布了三个微调模型：MPT-7B-Instruct、MPT-7B-Chat 和 MPT-7B-StoryWriter-65k+，其中最后一个使用了 65k 个标记的上下文长度！