高速全局快门图像传感器如何减轻基于AI的视觉系统的负担

作者：Ganesh Narayanaswamy用于数据收集的视觉传感器变得越来越重要。最初，简单的图像传感器是为摄影应用开发的，如今，图像传感器用于向人工智能（AI）和机器学习系统提供高质量的输入。
这些系统已成为利用新的和创新的处理器体系结构的复杂决策实体。边缘数据采集尽管边缘数据采集设备本质上主要是模拟设备，但是图像传感器的独特之处在于它们的输出在连续动态光学输入上进行时分多路复用。
它们需要能够在输出时保持转换后的光。提供图像输出的输入完整性为图像输出提供了最佳质量，支持对这些要求的重要处理，后续结果可能会对视觉系统决策的准确性产生重大影响，并且该结果定义了整个自动化系统的安全性，可靠性和获利能力。
基于机器学习的机器学习视觉系统的出现促进了图像传感器的创新，并且其性能水平得到了提高以支持各种应用。视觉输入是高保真数据-您所看到的就是输入到系统中的信息。
如今，AI算法可以检测，识别和分类这些输入并生成准确的决策输出。这些输出的可靠性取决于输入的质量及其算法的准确性，以及处理这些算法的神经网络。
基于机器学习和深度学习的视觉系统主要使用卷积神经网络（CNN）算法来创建强大的自动识别专家系统。在这些系统中，增加CNN层的深度将提高推理的准确性，但是更多的层也会不利地影响这些网络在训练阶段学习所需的时间以及系统完成推理的延迟（请注意，不要忘记组合也会影响结果和功耗。
同样，高质量的图像输出使视觉系统可以携带最少的CNN图层集，但也可以产生高度准确的推断。在获得可以低成本，小尺寸快速部署的智能系统的同时，它还实现了高性能和低功耗，带来了显着的优势。
诸如CNN之类的典型卷积神经网络（CNN）深度学习算法非常耗费资源。如今，有各种处理引擎，包括CPU，GPU，FPGA，专用加速器和最新的微控制器。
设计基于CNN的视觉系统还需要强大的优化库支持。从专有（例如MVTec的HALCON＆MERLIC，MATLAB的深度学习工具箱或Cognex的ViDi）到标准工具（例如OpenCV）以及软件和硬件集成功能。
这些选择与产品上市时间直接相关。资源密集型处理器通常需要更大的外形尺寸，例如功耗大的散热器附加组件，或仅需要更大的自由空间以通过对流耗散功率。
提供高质量输出的图像传感器消除了对昂贵的处理器，昂贵的第三方库和/或创建新库的需求，以及消除了最佳组合硬件和软件资源所需的昂贵工具的需求。换句话说，这些传感器大大降低了总体拥有成本（TCO），并提高了在各种应用和市场中的采用率。
输入到机器学习系统的图像传感器对传递到CNN层的图像传感器输出有很高的要求，包括：全局快门可以捕获场景并保留场景以最大程度地减少运动伪影全局快门效率高，可以确保每个像素保留场景不会被像素光路外部的光输入破坏。像素大小足够大，即使在充满挑战的光线条件下也能支持良好的图像质量。
图像输出中的总噪声较低，可确保在运行和待机状态下以低功耗实现高完整性输入，从而满足将对流传热作为正常状态的摄像机系统所面临的典型挑战。这些特性取决于像素体系结构和相关电气路径的设计。
CMOS图像传感器（例如AR0234CS）的结构和设计满足了这些要求，非常适合基于CNN的视觉系统。高速接口可实现快速的系统像素。
像素的质量可能非常好，并且经过精心设计，可以生成高质量的图像。但是，由于带宽限制，整个视觉系统仍可能会遇到性能不佳的情况。
当今的传感器配备了SerDes接口。