pg电子新闻中心

园林景观设计公司苹果推出300亿参数多模态AI大模型MM15:拥有图像识别、自然语言推理能力

2024-10-18
浏览次数:
返回列表

  该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期中混合各类数据对模型性能产生的影响,相关模型文档已在Hugging Face上发布。

  MM1.5提供了从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。

  在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。

  参考论文可知园林景观设计公司,团队在MM1.5的持续预训练阶段引入了高质量的OCR数据和合成图像描述,这显著提高了模型对包含大量文本的图像的理解水平。

  此外,研究人员在监督式微调阶段深入分析了不同数据类型对模型表现的作用,优化了视觉指令微调数据的混合方式,使得即便是小规模的模型(如10亿、30亿参数版本)也能有出色的发挥,实现了更高的效率。

  值得一提的是,苹果公司这次还推出了专门用于视频理解的MM1.5-Video模型和专门处理移动设备用户界面(UI)理解的MM1.5-UI模型。

  其中,MM1.5-UI模型未来有望成为iOS背后的“苹果牌”AI,能够处理各种视觉引用与定位任务,还能总结屏幕上的功能,或者通过与用户的对话进行交互。

  尽管MM1.5模型在多项基准测试中表现优异,但苹果团队仍计划通过进一步融合文本、图像和用户交互数据,并设计更复杂的架构,来提升模型对移动设备UI的理解能力,从而让“苹果牌”AI更强大。

  凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

  本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任园林景观设计公司。

  鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话;邮箱:。

  两部委关于印发《新材料中试平台建设指南(2024—2027年)》的通知

  强国复兴有我——新中国机械工业75周年巡礼 工程机械协会篇

  强国复兴有我——新中国机械工业75周年巡礼 表面工程行业篇园林景观设计公司园林景观设计公司

搜索