谷歌 DeepMind 推出 Mirasol3B 模型，旨在提高对长视频输入的理解能力

据 VentureBeat 报道，本周二，谷歌 DeepMind 披露了其人工智能研究的一项重大进展，提出了一个新的自回归模型，旨在提高对长视频输入的理解能力。这个被命名为“Mirasol3B”的新模型展示了一种突破性的多模态学习方法，能以更综合、更高效的方式处理音频、视频和文本数据。 谷歌研究院的软件工程师 Isaac Noble 和谷歌 DeepMind 的研究科学家 Anelia Angelova 表示，构建多模态模型的挑战在于模态的异质性。他们解释说：“有些模态可能在时间上很同步（如音频、视频），但与文本不一致。”“此外，视频和音频信号的数据量比文本大得多，因此在多模态模型中将它们结合在一起时，视频和音频往往无法被完全利用，需要进行不成比例的压缩。对于较长的视频输入而言，这一问题更加严重。”针对这种复杂性，谷歌的 Mirasol3 B 模型将多模态建模分解为单独的重点自回归模型，根据模态的特性处理输入。