解析丨AI在智能型手机上的应用趋势

智能手机已逐渐进入产品成熟期，手机厂商在硬件规格的竞争也越趋激烈，使得软件应用逐渐成为实现差异化的新途径，厂商除了将触角延伸至 IoT 领域之外，若能开发自家独特的 AI 软件应用，也有助于加强消费者黏着度。

例如，Apple 近来强调BUX10转型软件与生态系厂商，Google 也持续开发更多 AI 软件应用服务，并优先搭载于自家 Pixel 手机。 智能手机已进入产品成熟期，厂商积极强化 AI 应用 2019 年全球智能手机生产数量呈现年衰退，主要是因为手机渗透率逐渐达到饱和且进入产品成熟期，虽仍有曲面屏、多镜头与屏下指纹等硬件创新，但并未明显提升消费者体验，故无法有效带动换机潮产生。 因此 Apple 已宣布积极转型为软件与生态系厂商，持续扩展「生态系服务」，推出 iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+（新闻订阅）、TV+（串流影音）、Apple Arcade（游戏订阅）与 Apple Card（信用卡）等服务。

在手机软件应用服务明显发力的还有 Google，于 2019 年 12 月 9 日宣布推出全新策略「Feature Drop」，将藉由 AI 功能优化应用服务，以持续提升新旧款 Pixel 手机消费者使用体验，象是自动过滤骚扰电话、照片与视讯通话时背景虚化等，且这些更新不侷限于最新款 Pixel 手机，而将视硬件需求开放给不同机型使用。 观察现有手机厂商进展，归纳出以下几项目前较为主流的 AI 手机应用：

(一) 图像识别

随着 AI 算法提升，相机功能变得更为强大，衍生出更多脸部识别应用，使得图像识别在目前 AI 手机应用中最为广泛。

健康管理

Johnson & Johnson 旗下 Neutrogena 于 2020 年初发布新版 Neutrogena Skin360，借由 AI 算法的增强，达到不需外挂硬件即可检测黑眼圈、皱纹、细纹、光滑度与黑斑等。除了肤质检测外，借由与实时天气数据结合，提供 8 周个性化相关护肤方案，并提供 Johnson & Johnson 相关保养品建议，建构整个肤质管理生态圈。 目前搭载 Kirin 990 机型的华为 Mate 30 和荣耀 V30 也推出芯心兼容 App，透过手机镜头捕捉心脏收缩和舒张引起的面部吸收光照差异之微弱信号，并利用 AI 技术估算出人体的心率和呼吸率等数据。 整体来说，智能手机受惠于 AI 相机算法改善，因而有机会打入健康管理市场，改变过去须配合智能手环和智能手表等其他穿戴装置才能使用的模式。若未来手机能提供更精准的检测结果，再配合大数据分析提供进阶健康照护建议，将可进一步扩展商机。

视讯强化与拍照

Google 推出「语义图像分割(Semantic Image Segmentation)」技术，将语义标签（如道路、天空、人与狗等）分配给输入图像的每个画素，更精确定位物体轮廓，并开源其语义图像分割模型 DeepLab-v3+。 随着语义图像分割发展持续进步，Google 也推出旧照片和视讯通话皆可背景虚化的功能，以做出景深效果，让视讯通话时人像更清晰。此外，荣耀 V30 手机已实装 AI 视频全景替换功能，在视讯通话时可以随时替换背景且背景可动。而 Qualcomm 也于 Qualcomm Snapdragon Summit 2019 年展示视讯通话时将头像卡通化的功能，增添个人特色。 此外，Google 充分运用 Pixel 4 前镜头广角功能，搭配 AI 算法加强人脸识别，因此视讯通话时不论人物如何移动，人脸将永远置于荧幕中央，或当视讯同时存在两个人时，可确保同时入镜。 在拍照功能上，CIS 芯片大厂 Sony 主打实时人眼对焦(Eye AF)，强调双眼是构成一幅绝佳肖像不可或缺的元素，且此实时眼部侦测自动对焦功能已拓展到动物世界，可自动侦测并追踪动物双眼，而人眼追焦功能目前已在 vivo X30 Pro 上实装，预期有机会获得更多手机品牌采用。

隔空操作

2019 年陆续有 3 支智能手机以隔空手势操作为主要卖点：LG G8 ThinQ 手势操作名为「Air Motion」，借由前镜头搭载 ToF 镜头，实现更精准脸部识别与手势识别操作功能，例如想要截图可透过在屏幕幕前做出五指并拢和抓取动作；若在手机屏幕前左右挥舞，可呼叫音乐和简讯等功能；若要调节音量则进行扭转旋钮动作。 华为 Mate 30 Pro 同样以前镜头搭载 ToF 镜头，操作时只要在前镜头前方张开手掌，接着做出捏合姿势就可屏幕截图，上下挥动手掌就能滑动页面。

Google Pixel 4 手势功能则称作「Motion Sense」，采用 Project Soli 技术（运用微型雷达监测空中手势动作的感测技术），在 Pixel 4 前置镜头模块中搭载 1 块雷达芯片，其会先发射电磁波，波束会在用户产生动作后反射回手机的传感器，再根据波束变化侦测用户双手动作，从而实现手势操作。 此外，Samsung 旗下 C-Lab 也于 CES 2020 展示隔空打字新技术 SelfieType，不同于前几年的雷射键盘需另外搭载投影红外线的硬件，三星仅透过手机前置镜头和 AI 人工智能追踪用户双手，即可在桌面上出现隐形键盘。 不过，整体来说手势操作现阶段仍以手机厂商展示自身技术为主，实际上的应用有限，某些功能在设定或操作上也略为复杂，使得手势操作目前仍不普及。

智能防偷窥

华为 Mate 30 Pro 推出防偷窥功能，借由前镜头支援 3D 人脸识别，可保护使用者隐私。当前镜头识别有其他人出现在侦测范围内，此时屏幕的讯息和行事历等将自动上锁，主要仍是借由前镜头与 AI 搭配人脸识别完成隐私保护。

(二)实时语音识别与自然语言处理

语音识别和自然语言处理的最新 AI 应用，主要为实时语音转字幕与实时翻译，随着 AI 运算功能加强，可实时在终端装置完成，不需将信息先传到云端再回传终端装置。 语音转字幕与翻译虽然实务上早就能做到，但过往受限于 AI 运算能力不足，需先回传云端处理后再传给终端装置。例如 Google 云端硬盘早已提供语音转字幕功能，但需先登入，再播放音档让 Google 云端进行处理，也就是需要透过 Google 强大的云计算能力才得以完成，不仅需使用网络流量造成不便，且容易造成隐私困扰。

不过，Google Pixel 4 已率先实装 Live Caption 功能（目前仅支援英文语音转英文字幕），强调实时语音转字幕不需使用任何连网数据，所有音频和字幕都在终端装置处理，也不会储存或发送给 Google；小米集团旗下的 Redmi K30 5G 版也实装中文语音转中文字幕功能。实时翻译功能方面，Qualcomm 在 Qualcomm Snapdragon Summit 2019 中，已展示如何只透过手机、不需经过云端回传即可完成实时翻译（离线亦能实时翻译）。 整体来说，不用透过云端就可达成实时语音转字幕与实时翻译，主要因手机芯片的 AI 运算能力加强，例如 Google 的 Live Caption 功能刚推出时仅能于 Pixel 4 使用，目前也仅下放至 Pixel 3 机型，而 Qualcomm 展示 Snapdragon 865 实时翻译功能，主要也是为了强调其 AI 运算能力的强大。实时语音转字幕与实时翻译由于不用透过云端，可降低延迟、减少频宽需求并提高 App 使用方便性，同时安全性也更高，避免隐私外流风险。

(三) 其他应用

Google Pixel 4 也藉由 Google Assistant 进行语音识别以自动过滤骚扰电话(Call Screen)，过程中不需使用任何网络流量，但会计入电话费（此功能目前只支援英文，限美加地区使用。）若是未知电话，Google Assistant 可以在电话响起前就自动屏蔽；若是一般电话，则透过 Google Assistant 接听并询问来电者身分和来电原因，只要判定是语音自动电话或骚扰电话，就会挂断；若判定不是，手机就会响铃并显示来电者的回覆。 此功能也会根据手机的联络人决定是否过滤来电，若不想过滤特定号码，就要将号码储存为联络人。手机还可根据 Google 骚扰电话数据库中的号码侦测语音自动电话和骚扰电话，因此在初次设定时仍需网络连线，设定完毕才可关闭连线。 AI 应用将持续带动手机硬件提升 总结来看，近期市场出现越来越多前镜头结合 AI 的应用，尤以提供手势或脸部识别为主的机型，基本上都需搭 ToF 感测模块或雷达以提供更好识别能力。

此外，Google 提供视讯人脸置中和同时 2 人入镜功能，也都依赖前镜头广角功能，一般主摄镜头在视野受限下无法足够取景。预期未来前镜头的规格会持续升级，象是画素提升或引入微距镜头等，以实现更多 AI 应用。 不过，AI 运用最主要还是仰赖处理器的 AI 运算能力，随着 AI 引擎持续改善，可以改善原本需回传云端处理再传回终端装置的状况，终端装置于离线时即可提供许多 AI 运用，不仅降低延迟也减少频宽需求，使 App 在应用上更方便，更不须使用网络或依赖云资源，进而提高安全性。