LLaVA 是一个新型的端到端训练的大型多模态模型，结合了视觉编码器和 Vicuna，用于通用的视觉和语言理解，在模拟多模态 GPT-4 的精神方面具有令人印象深刻的聊天能力，并在科学问答中取得了新的最高准确度。
LLaVA 的视觉编码器使用了一种称为 Visual Instruction Tuning 的新技术，该技术利用视觉指令进行微调，以从视觉输入中提取更有用的信息。该模型在多个基准测试中表现优异，包括 VQA，COCO captioning 和 ImageNet 分类。
LLaVA 采用了一种新型的训练方法，该方法结合了来自多个任务的损失函数，包括图像分类，自然语言推理和问答等。通过这种方式，LLaVA 能够从多种来源的数据中学习，并在各种任务上取得优异的表现。
更多关于 LLaVA 的信息可以在官方网站上找到：https://llava-vl.github.io/。