🚀 风格预测功能: 具备说话风格预测，根据语音自动调整动画表情，使得生成的动画更加贴近原始音频。
开放模型击败GPT-4，开放与封闭之争逐渐淡化。
声明:本文来自于微信公众号新榜（ID:newrankcn），作者:云飞扬1993，授权站长之家转载发布。在实验中，VCoder与开源的多模态LLMs（如MiniGPT-4、InstructBLIP、LLaVA-1.5和CogVLM）进行了比较，并在COST验证集上进行了测试。实验结果表明，VCoder在对象识别任务中表现最佳，特别是在对象计数和识别方面优于基线模型。在处理复杂场景中的对象计数和识别任务时，VCoder展现出更高的准确性，尤其是在场景中有许多实体时。
它不仅可以从图片中提取信息并回答问题，还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等，展现出了强大的多模态能力。在性能上接近GPT-4的情况下，LLaVA具有更高的成本效益，训练只需要8个A100即可在1天内完成。