中国投资网 科技 三大技术突破!OPPO MariSilicon Y发布:从计算影像跨入计算音频

三大技术突破!OPPO MariSilicon Y发布:从计算影像跨入计算音频

12月14日,继去年推出首款自研芯片马里亚纳 MariSilicon X 整整一年之后,OPPO在深圳召开的“OPPO 未来科技大会”上正式发布了第二款自研芯片—— 马里亚纳 MariSilicon Y。不同于面向“计算影像”领域的MariSilicon X,OPPO这一次推出的MariSilicon Y则瞄准的是“计算音频”领域,是一款旗舰级蓝牙音频SoC芯片,带来了音质的重大突破。

一、无损音频需求爆发

有研究显示,2021年,大多数人对于音频设备的使用更加频繁,62%的人认为他们在日常生活中依赖音频设备。

二、计算音频的个性化时代到来

比如AirPods Pro就搭载了苹果自研的Apple H1芯片,其主动降噪是通过麦克风拾取到外界环境音的信号,然后通过专用的音频芯片将背景噪音分离出来,然后计算出与噪声相位相反的音频信号,再通过麦克风发出频率、振幅相同的声波,实现与噪声干涉实现相位抵消。但是,这里有一个先后顺序的问题:先采集噪声,但是要与噪声同时产生抵消音才能够降噪。所以需要这个音频芯片能够根据噪声进行预测,预测出下一时刻噪声的情况,并提前通过麦克风产生相应的抵消声波。

此外,联发科最新推出的天玑9200平台也带来了吞吐量高达8Mbps的蓝牙音频传输速率,远高于蓝牙5.3的标准,并且支持192kHz/24bit超高清音频编码(目前主流音乐平台能提供的最高规格),但受限于LHDC的标准限制,实际传输的是192/24有损音频。

在OPPO看来,随着消费者市场的成熟和技术的发展,计算音频已开始迈入第二阶段,即个性化音频时代。

而随着AI技术、环境感知、自然语义处理等诸多先进技术融入计算音频领域,更具个性化的音频体验呼之欲出。

众所周知,蓝牙连接优势主要在于便捷和低功耗,新的LE Audio还加入了一对多的AURACAST广播音频功能,但是相对较低的传输速率一直是蓝牙的一个劣势。

那么,要怎样突破蓝牙音质的限制呢?自然是提升蓝牙芯片的传输速率和传输效率。

△MariSilicon Y现场实测蓝牙传输速率

根据OPPO公布的数据显示,FLAC的压缩率是70%、ALAC的压缩率也是70%、表现更好一些的L2HC压缩率是60%。OPPO认为,在一定程度上,现有的公有无损编解码方案都无法满足无线传输的体积要求,因此需要一个更强压缩能力的方案。

OPPO强调,URLC编解码协议是除ALAC之外的第二个支持192kHz/24bit的编解码技术,结合MariSilicon Y所拥有的12Mbps业界最快的蓝牙传输速率,将极大提升无损音频的传输效率。

此外,编码格式的兼容性也是非常重要的,毕竟URLC是OPPO定制的私有协议,只有当两个连接设备都支持URLC协议时,才能发挥出最大的效力。所以,MariSilicon Y在兼容传统的SBC和AAC编解码的同时,也加入了对于LE Audio的LC3编解码及LHDC、LDAC高清编解码的支持,实现了对于各类蓝牙设备的全面覆盖。

目前,蓝牙音频芯片的绝大部分计算处理都是通过DSP(数字信号处理器)来完成的,这包括音乐播放、EQ调整、编解码等。主动降噪功能,则大多是通过Codec的模拟信号处理,实时监测外界信号并计算出反向声波进行抵消。即使是高通等厂商的蓝牙音频芯片最新支持的空间音频功能,也是通过DSP来实现3D空间的渲染,再结合传感器的头部位置数据,实现头转跟随的效果。

比如谷歌在2022年人工智能年度活动上,公布了谷歌全新的音频生成框架AudioLM,可以只根据简短的音频样本学习生成逼真的、高质量的语音和音乐。比如Meta已提供的Acoustic Sythesis工具,通过AI的能力对不同视觉环境做出相应的声音反馈,从而提升环境/场景模拟的保真性和沉浸感。此外,利用AI技术来实现音频内容分类,做环境感知、自然语义处理的研究也比比皆是。

虽然MariSilicon Y内部集成的高性能DSP也能够提供25 GOPS(这也是全行业性能最强的DSP之一,目前全球销量最高的耳机芯片的算力为9 GOPS),但是OPPO认为这样的算力并不能满足“个性化音频时代”对于计算音频的算力要求。因此,MariSilicon Y首次集成了专用高性能NPU单元,算力高达 590 GOPS,达到了传统蓝牙音频芯片算力的十数倍。

在具体的AI应用方面,MariSilicon Y凭借强大的NPU,首次在音频端侧实现了声音分离技术,可以为用户提供“自定义全景声”、“万能全景声”等下一代的个性化听音方案。

姜波告诉芯智讯:“音轨分离是OPPO自己的算法团队去实现的,目前音轨分离大部分基于云端,云上可以分开上传一个文件然后下载,我们做到几乎是实时的效果,在实时听一个音乐流媒体时,实时分开进行Remix也没有明显的延迟。但事实上,处理是有延迟的,只是延迟在可以感受的范围内,一般是感受不到的。”

OPPO表示,自定义全景声和万能全景声只是 MariSilicon Y对NPU和声音分离技术结合的第一次尝试,未来还有更多空间可以探索。比如,利用声音分离技术,提取人声和噪音,实现更加纯净的通话降噪效果;利用声音分离技术对老电视剧的人物对话进行增强;或者是利用这一技术实现更加随时随地的卡拉OK体验。

虽然目前最先进的逻辑芯片已经演进到了4nm工艺(比如苹果A16),但是对于射频芯片来说,进展则要相对较慢。台积电N6RF制程是2021年6月全新推出的面向5G时代的先进射频芯片制程,是将先进的N6逻辑制程所具备的功耗、效能、面积优势带入到RF射频解决方案。

在功耗控制方面,除了台积电N6RF工艺的加持之外,据姜波介绍,OPPO在设计MariSilicon Y也对于功耗进行了很多的优化。比如,针对某些IP,通过调压节省功耗;对于核心的音频NPU和一些基础的IP(比如SRAM片上内存)进行定制来降低功耗;在射频功耗方面,也同样做了很多优化。

首先,在设计方面,越先进的制程工艺,越复杂的架构,往往意味着设计的难度越高。虽然OPPO的首款自研6nm芯片MariSilicon X获得了成功,但是MariSilicon X的经验并不能复用到MariSilicon Y的设计,因为这是两种不同类型的芯片,一个是影像NPU,一个是具备音频NPU及无线连接能力的蓝牙音频SoC。

此外,MariSilicon Y还是一颗射频芯片,这也是OPPO首次挑战无线连接芯片设计。这颗芯片的基带部分、数字部分和射频部分合在一起,带来了很多设计上的挑战。

其次,在制造方面,MariSilicon Y采用的是台积电最新推出的N6RF射频工艺平台,客观上来讲,该平台还没有经过市场的充分验证。此外,RF工艺和封装存在着很多的客观限制因素,例如RF CMOS技术中,噪声系数和线性度存在天然短板,只能通过电路结构和无法定量分析的隔离措施来缓解问题,这也给MariSilicon Y带来了很大的挑战。

姜波告诉芯智讯:“这颗芯片无论是投入成本,还是市场ROI,从商业角度上看都是非常不划算的。每一次流片的成本,对于这个类型的芯片是非常昂贵;但是,N6RF工艺是我们未来必然要掌握的,第一是连接能力的掌握,第二是先进射频工艺的掌握,都是自研芯片必须要探索的。虽然从商业角度看,采用第三方方案的确更节约成本,但MariSilicon Y所代表的自研能力是无法通过第三方芯片获得的。”

五、脚踏实地,持续研发

目前,MariSilicon X已在Find X5、Reno8、Reno9上商用,后面预计还会有更多手机搭载这颗芯片,据姜波透露,这颗芯片已经达到了千万级出货量。

据芯智讯了解,OPPO在2019年就已经组建了高达2000人的芯片研发团队,在自研芯片上的决心和投入非常的大。显然组建这样一个庞大的芯片研发团队,OPPO的目标绝不仅仅是影像NPU、蓝牙音频SoC之类的外围芯片,但是想要跳过这些,一步登天实现终极目标显然是不现实的。

值得一提的是,在持续发力自研芯片的同时,OPPO在2022年开发者大会上(ODC)发布了潘塔纳尔智慧跨端操作系统,在此次2022年OPPO未来科技大会,OPPO又正式发布安第斯智能云,实现了自研硬件(马里亚纳自研芯片)、软件(潘塔纳尔跨端系统)和服务(安第斯智能云)三大核心技术的布局正式完成。

作者:芯智讯-浪客剑

本文来自网络,不代表本站立场,转载请注明出处:https:

用户,技术,影像,音质,芯片,bit,突破,蓝牙,音频,音乐,观点评论,芯片,速率,蓝牙,音频,姜波

中国投资网后续将为您提供丰富、全面的关于用户,技术,影像,音质,芯片,bit,突破,蓝牙,音频,音乐,观点评论,芯片,速率,蓝牙,音频,姜波内容,让您第一时间了解到关于用户,技术,影像,音质,芯片,bit,突破,蓝牙,音频,音乐,观点评论,芯片,速率,蓝牙,音频,姜波的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。