OpenCompass排名第一！腾讯微信开源POINTS1.5：面向现实应用的VLM，支持双语

文章主旨：

POINTS1.5是一款增强版视觉-语言模型，通过创新的视觉编码器、双语支持和数据集过滤策略，显著提升了模型在现实应用中的表现。

关键要点：

• POINTS1.5采用NaViT风格视觉编码器，支持原生处理任意分辨率图像，避免了图像切割对空间关系的破坏。
• 模型增加了双语支持，通过手动与自动结合的方法，构建了中文语料库，显著提升对中文图像内容的处理能力。
• 通过严格的视觉指令调优数据集过滤策略，解决了数据样本语法错误及依赖图像不足的问题。
• 模型在多个基准测试中表现优异，特别是在数学能力和图表分析方面领先于其他开源模型。
• POINTS1.5采取了高效的训练策略，在不到50亿token的数据上完成训练，其性能在OpenCompass排行榜中排名第一。

内容结构：

引子：

介绍视觉-语言模型近年来的进展及其潜力，同时指出开源模型在应对某些现实世界挑战时的不足。提出POINTS1.5作为改进方案，延续LLaVA风格架构，通过高性能视觉编码器和高质量数据集优化模型能力。

创新点：

• 原生动态高分辨率：采用NaViT风格视觉编码器处理任意分辨率图像，避免图像切割问题，提升性能。
• 双语支持：通过构建中文数据集，增强模型在中文内容处理上的能力。
• 视觉指令调优数据集过滤：解决数据样本语法错误及图像依赖不足问题，确保数据质量。

模型架构：

POINTS1.5延续LLaVA风格架构，包括视觉编码器、映射层和大语言模型（LLM）。采用NaViT视觉编码器处理图像序列的新方法，提供更高的灵活性和准确性。

数据集构建与训练策略：

• 采用创新性中文数据集构建方法，包括翻译现有对话数据和手动设计问题。
• 采用两步过滤策略，解决语法错误和图像依赖问题，提高数据质量。
• 通过预热视觉投影层优化性能，避免解冻视觉编码器带来的负面影响。

评估与结果：

POINTS1.5在多个基准测试中表现卓越，包括数学能力、图表分析和OCR能力，显著领先于其他开源模型。

结论：

POINTS1.5通过视觉编码器升级、双语支持和数据过滤策略，显著提升了模型性能，并在OpenCompass排行榜中排名第一，展示了其在现实应用中的强大能力。

文章总结：

文章详细介绍了POINTS1.5模型的创新点及其在视觉-语言任务中的显著进展，展现了该模型对现实世界应用的潜力，值得进一步关注与研究。

MVP发布后，下一步该怎么办?

了解更多

AI生成未来

查看原文：OpenCompass排名第一！腾讯微信开源POINTS1.5：面向现实应用的VLM，支持双语

文章来源：

AI生成未来

扫码关注公众号