借助Arm SME2释放神经相机降噪技术潜能

作者：Arm 工程部首席计算机视觉架构师 David Packwood

手机摄影爱好者都有过这样的体验：白天拍的画面清晰锐利，一到暗光环境就画质崩塌。这是因为传感器捕捉到的光子数量减少时，信噪比 (SNR) 会急剧下降。在 1000 勒克斯的光照条件下，信号占据主导，成像干净通透；而光照强度降至 1 勒克斯时，读出噪声就会显现为颗粒感、色彩斑点，同时画面的精细细节也会丢失。

正因如此，神经相机降噪技术成为相机成像管线中至关重要且算力要求极高的环节。倘若运用得当，它能将满是噪点的画面变成清晰鲜明的优质影像；若处理失当，则会留下模糊重影与伪影，毁掉整张照片。

第二代 Arm 可伸缩矩阵扩展 (SME2) 推动移动端降噪能力提升。作为面向 CPU 端人工智能 (AI) 推理的全新高性能技术，SME2 已在 Arm 新的 C1 CPU 中启用，并应用在多款全新旗舰智能手机上，具体机型详见设备列表。

设备列表：https://learn.arm.com/learning-paths/cross-platform/multiplying-matrices-with-sme2/1-get-started#devices

SME2 专为加速各类 AI 运算设计，覆盖生成式 AI 至计算机视觉等多个领域，能显著提升当下的计算摄影体验。这项技术以前所未有的速度与能效，实现图像的自动优化，助力设备拍出更清晰锐利的画面。本文将为你阐释这项技术的实现原理。

面向成像创新的可伸缩矩阵扩展技术

专用图像信号处理器 (ISP) 硬件在降噪、去马赛克、色调映射等标准任务中依然表现高效，但成像算法迭代速度越来越快，这类固定功能模块已难以灵活适配新需求。

SME2 有助于提升灵活性，该技术整合了宽位 SIMD 与矩阵乘法运算能力，并依托第二代 Arm 可伸缩向量扩展 (SVE2) 和 SME ISA 特性实现。这一组合能将高吞吐量的 AI 与计算机视觉加速能力直接融入 CPU 管线，从而使得开发者无需等待硬件迭代，就能更便捷地集成新算法。

启用 SME2 技术的 Arm C1 CPU，能帮助 OEM 厂商和开发者实现以下目标：

在成像相关工作负载中，达到甚至超越 DSP 级别的性能表现。

借助 SME2 的可伸缩吞吐量优势，无需独立 AI 加速器即可运行部分应用。

依托类 CPU 的编程模型，大幅降低开发者优化与迭代代码的难度。

启用 SME2 的 C1 CPU 助力实现神经相机降噪

Arm 专为 SME2 技术打造了神经相机降噪管线，其可直接在原始数据域中运行，能实现更出色的噪声建模与细节保留效果。该管线由两种互补算法构成：

UltraLite

时域降噪；

图像降采样、分通道处理、运动掩码估算、时域信息累积；

效率高，且可提升暗光环境下视频画面的稳定性。

CollapseNet

空域降噪；

级联式金字塔结构降噪（UGGV 色彩空间）；

在光照强度低于 1 勒克斯的场景下，仍能出色保留画面细节。

UltraLite 与 CollapseNet 相结合，形成一套时域-空域联合降噪管线，其中 UltraLite 保障时域稳定性，CollapseNet 则恢复空域细节。这种组合能够确保通用性。UltraLite 擅长视频降噪，CollapseNet 则确保静态照片具有高画质。二者协同，可为全场景拍摄提供稳定可靠的降噪能力。

单核心实时性能表现

在启用了 SME2 技术的单颗 CPU 核心上运行时，神经相机降噪方案也可实时处理吞吐量。下表展示了启用 SME2 技术的 CPU 如何兼顾能效与灵活性，无需独立加速器即可达成媲美 DSP 的性能水准。

可编程性与开发者工具

神经相机降噪基于优化后的 C++ 代码实现，同时提供面向 AArch64 目标平台的独立基准测试二进制文件。开发者可便捷地输入自定义测试数据，评估性能并开展调试。

SME2 支持 Arm C 语言扩展 (ACLE) 内联函数，这带来了两大优势：

可对卷积、图像融合等关键计算内核进行底层调优。

沿用开发者已适配 Arm CPU 的工具链，保持熟悉的开发工作流。

为方便实验，开发者还可使用 PyTorch 和 Keras 模型，在部署优化后的代码实现前，快速完成原型验证。如需探索相关开源代码，可访问 GitLab 上的 KleidiAI Camera Pipelines 代码仓库。

代码仓库：https://gitlab.arm.com/kleidi/kleidi-examples/ai-camera-pipelines

结果：提升成像画质

实验室评测显示，基于 SME2 的神经相机降噪在 1 勒克斯及以下的关键暗光场景中，能显著提升成像画质。在此类暗光环境下，该方案输出的画面比纯 ISP 管线、甚至是高端手机的成像效果，都要更清晰锐利，也更加自然。这凸显了 SME2 的互补价值：它与 ISP 协同工作，当固定功能硬件达到性能极限时，由 SME2 接管成像处理，补足画质短板。

展望未来

神经相机降噪只是开端。SME2 还能加速电影模式（景深效果）、暗光增强等其他高级影像功能的运行。凭借其在性能、可编程性与可扩展性方面的综合优势，SME2 已成为通用成像加速器，既能与 ISP 形成互补，又能支撑软件的持续创新。

小结

噪点处理一直是摄影领域的一大难题，暗光环境更是会将传感器的性能推向极限。而启用 SME2 技术的 Arm C1 CPU 所实现的神经相机降噪，为设备制造商提供了一套灵活的高性能工具，助力打造卓越的暗光成像效果。这项技术并非要取代 ISP 硬件，而是作为补充能力突破现有相机的功能边界。

SME2 集 ACLE 可编程性、单核实时 4K 处理性能与即用的开源示例于一体，凭借这三大优势，成为赋能新一代计算摄影的关键技术。更重要的是，SME2 充分展现了软硬件算法协同设计的强大潜力 —— 芯片硬件能力与软件算法技术同步演进，从而解锁全新的成像可能。