萧箫 发自 凹非寺量子位 | 公众号 QbitAI
春节前,各家各户从小米12开始陆续上市 Pro、荣耀Magic V、iQOO 9 Pro,到一加10 Pro、realme真我GT2 Pro、moto edge X30…摇眼一看数不过来。
拿到手机后,可以发现很多有趣的功能细节:
像小米12 Pro万物追焦一举成为心地善良,即使宠物跑出画面,也能自动对焦,雷军看完后要激情转发:
就像拿手机助手当一卡通的荣耀Magic V,自动识别和定位特殊场景,像快递站弹收货码,机场弹登机牌,地铁口弹乘车码:
……
花哨的功能并没有突然出现。
近年来,手机圈的竞争不再是性能参数式的唯一分数论AI技术开发,加上骁龙8芯片等硬件迭代,AI结合大量的需求场景,提供更丰富的可能性。
那么,这些新功能是什么样的呢?AI能力?这些能力中有多少与底层芯片相关?
让我们来看看这些新应用背后的技术底细。
从人眼跟踪到电子围栏
先来看看AI新应用于摄影、办公通勤、通信等场景。
,最有趣的功能是小米12 Pro的“”了。
这项技术可谓福音,不用担心目标滑出镜头,因为AI只有它的眼睛:
图源:鹅板凳
(在发现这项技术可以拍摄猫、狗、鱼和鸟之后,网友们开始整活乒乓球和键盘,甚至有网友想用它追蚊子……)
该技术从小米铁蛋机器狗的人体视觉跟踪技术移植到小米12 Pro上。
但要注意的是,小米12 Pro镜头跟踪的所有物体都是它从未见过的,这些物体的角度和大小都会发生变化,甚至可能在镜头内外反复跳跃。
也就是说,AI必须掌握快速学习目标特征的能力,记录第一次看到的物体,并在再次看到时识别它。
此外,小米12 Pro万物追焦也首次实现功能,近距离锁定人眼,远距离放大到全身。
即使动作夸张,比如跳神,也能识别(狗头)
骁龙8提供的300个面部识别特征点(速度也提高了3倍)技术也可以很好地解决超广角镜头下缩小人脸后难以识别的问题。
结合手机检测到剧烈运动时自动提高快门速度的功能,万物追焦可以保持画面清晰度,避免下图效果:
手机厂商们不会放过骁龙8在夜景拍摄方面带来的优势。毕竟相比于上一代芯片,还只是合成6帧左右图像用于拍摄清晰夜景,今年骁龙8的AI发动机一口气直接合成30帧(不管怎样)AI足够大的计算能力)。
代表应属iQOO 9 Pro的,简直就是夜景模式的卷王AI全家桶算法。
从NR噪声消除、MEMC运动补偿、多帧融合,再到自主研究AI Deglare和RAWHDR等算法,可以用AI算法真的很多。
如果你想更快地拍摄夜景,你必须实时计算多个AI算法对芯片算力也有很大的要求。结合骁龙8,iQOO 9 Pro夜景视频更接近人眼:
,荣耀是最好的用途Magic V的。
你会发现,结合电子围栏和智能助手的功能,似乎一直在后台默默运行。一旦到达指定地点,手机会自动弹出通知,以免错过任何重要信息,但功能不会特别耗电。
也就是说,只要你带着这部手机,你就像从一个围栏走到另一个围栏,AI能准确知你去了哪里。
比如你一到机场赶飞机,手机屏幕上就弹出了电子登机牌或者智能报时提醒,保证不错过航班:
这类可以实时启用、感知周围环境的功能,加上骁龙8上的第3代高通传感器中枢,能让AI大量数据信息可以在极低功耗下处理,性能增加75%,功耗比上一代低50%。
如果这种实时启动卡在早期手机芯片上运行,不仅速度更慢,而且耗电更多。
,最实用的功能是AI增强了网络信号。
moto edge X30开发了三种信号算法,其中包括ASDiv选择最合适的天线信号,MAAT在弱网模式下(高铁、电梯等)增加信号强度,最后SRS为信号选择最佳的传输路径。
在这里,骁龙8集成了骁龙X支持65调制解调器和射频系统,用AI让信号传输更稳定的同时,将手握感知精确性提升30%、功耗还降低30%。
嗯,所以在电梯和高铁上玩手机应该比以前更流畅了。
除了这些场景,游戏就像我一样。GT2 Pro、一加10 Pro也会使用旗舰机AI调度资源。
当然,以上都是应用水平的提升。
同时运行更多AI算法
从根本上说,这些新算法的运算性能提高和功耗下降离不开骁龙8。
尽管制造商推出了许多新产品AI算法,但如果芯片性能不足,运行卡住,这些算法就会变得鸡肋。
因此,在硬件尺寸有限的情况下,必须找到改进芯片的方法AI性能。
一方面,硬件中的专用需要改进AI比如今年的新一代芯片算力Hexagon高通透露,张量加速器的性能提高了2倍,共享内存提高了2倍。AI提高工作负荷性能。
另一方面,更需要在软硬件适配上,进一步做研究。例如高通近几年一直在进行的研究之一,就是技术。
量化可以在不降低操作精度的情况下给予AI模型做瘦身,让它们在手机上以更低的功耗运行。目前,许多相关论文已经发表在手机上NeurIPS等顶会上。
这也是骁龙8的第七代AI提高发动机性能4倍的秘诀之一。
AI性能提升的结果是帮助制造商在后台无意中插入更多AI算法。
例如,小米12 Pro就用AI来,同时,保持颜色自然。在护眼模式下,这种算法需要一直在后台运行;
又像moto edge X30搭载moto AI丽音技术,专门用来进行,而这会在打电话、搞视频会议等通信场景下持续运算;
再或是像这种“感知不到”的AI技术,实时运算背后都有骁龙8的加持。
再例如各手机中的智能语音助手、场景感知等功能,其实都或多或少需要AI算力,在分配资源、确保算法流畅运行的情况下,骁龙8同样起到了不少作用。
不过,你以为这就是骁龙8的全部AI能力了吗?
Nonono。
这些能力还有待“榨干”
事实上,骁龙8支持的很多AI功能还可以继续挖掘。
例如,最新推出的。
事实上,这也一直是备受手游玩家们期待的技术之一。
毕竟原本手游在遇到战斗场景、或是需要高帧率运行的复杂场景时,基本都会出现掉帧、画质下降的情况,来维持游戏运行的流畅性,但手机超分辨率就能解决这一问题。
这项技术,有点像是应用于端游的深度学习超级采样技术(DLSS),利用AI提取渲染场景的多维特征,智能地组合多帧画面中的细节,构造高质量画面。
这样,手机运行游戏时,既能提升画质、又能确保游戏性能的稳定,最终提升游戏体验感:
不止是游戏。
如果能将AI超分辨率成功调教到手机中,你甚至能看到更清晰的、更高质量的等应用。
当时这项功能发布时,就有网友调侃这是“”,能在老板注视手机屏幕时及时锁屏。
具体来说,就是当它检测到有陌生人注视着你的手机界面时,直接“黑掉”屏幕:
就是不知道老板会不会勒令你重新打开界面(狗头)。
这项技术是骁龙8集成的第四个ISP,有了它,能做到的还远不止防偷窥这项功能,因为它可以让摄像头保持在极低功耗下运行。
当它检测到有,例如机场的行程码、或是各地的健康码时,就能更快地弹出对应的程序界面,省去了加载应用的时间。
嗯,也能在你看屏幕的时候自动解锁界面——
没错,解放双手的那种。
像是做菜的时候,即使你双手都抽不出身,也能通过人脸解锁手机,查看对应的菜谱应用。
不仅如此,骁龙8还支持同时运算多个CV算法模型,也能用来玩出更多有意思的特效拍照等应用。
除了上述这些技术以外,骁龙8还给合作厂商集成了各类开发AI功能的工具和模型合集。
包括谷歌Vertex AI NAS功能、开源的AIMET等量化工具、以及抱抱脸支持的数千个超快NLP模型等,都还有待厂商们去发掘。
未来,我们或许也能在更多新机上看见这些AI功能。
看完这些已经落地、或是可能即将落地的AI应用,你最喜欢哪一个、或期待什么功能实现呢?