哪个优势强?英伟达,英特尔和谷歌已经三足鼎立!

Edge AI(边缘人工智能)仍然是业界关注的焦点,许多人不确定要为其项目选择哪种硬件和平台。今天,我将回顾一些领先和新兴的AI硬件和软件平台。

自2012年开始深度学习热潮以来,英伟达一直在其GPU上主导着AI芯片。尽管它们具有高功耗,嘈杂的操作和较高的成本,但他们别无选择。大约3年前,Google宣布他们已经设计了Tensor处理单元(TPU),以加快数据中心的深度学习推理。这触发了成熟的技术公司和初创公司急于推出专门用于数据中心和边缘的专用AI芯片。

我们今天谈论的是边缘AI平台。那么,边缘AI到底是什么? Edge AI术语是从Edge计算中借用的,这意味着计算是在数据源附近执行的。

如您所见,在AI世界中,应用场景包括物联网,手机,无人机和自动驾驶汽车。因此,我们将专注于可以由个人和小型公司开发和使用的AI平台。

今天的评估是英特尔的神经计算机棒,谷歌边缘计算芯片Edge TPU和Nvidia的Jetson Nano。

性能

在评估用于实时部署的AI模型和硬件平台时,我要看的第一件事是它们的速度。在计算机视觉任务中,基准通常以每秒帧数(FPS)进行度量。数字越高表示性能越好。对于实时视频流,您至少需要约10 fps才能使视频看起来平滑。基准测试中使用了许多应用程序,最常见的两个是分类和对象检测。在计算中,分类是最简单的任务,因为它只需要预测图像即可。苹果或橘子。

另一方面,检测任务的要求更高,因为例如它将需要检测多个对象及其类的位置。多辆汽车和行人。这正是需要硬件加速的应用程序。

了解了这两个应用程序的含义之后,我们现在可以查看基准测试结果(我将在以后解释DNR)。 Jetson Nano的数字看起来非常适合实时推理,让我们将其用作基准。英特尔神经计算机2(在这里我们简称为NCS2)可以使用MobileNet-v2进行30 FPS分类,这还不错。但是,以11 FPS的速度检测物体确实非常困难。

顺便说一下,NCS2是USB记忆棒,需要与外部主机(Raspberry Pi3)一起使用。如果使用功能更强大的计算机,则基准数字可能会更高。如果仅查看不带UCS2的Raspberry Pi 3的数量,则可以推断为2.5 FPS,这对于业余爱好者或AI项目来说还不错。

好的,回到UCS2,我认为大约10 FPS的帧速率可能不足以进行实时对象跟踪,特别是对于高速运动,并且很可能会丢失许多对象,并且您需要一个很好的对象。跟踪算法来弥补这个原因。当然,我们并不完全相信基准测试结果。通常,公司会将其手动优化的软件与竞争对手的现成模型进行比较。

现在,我们将注意力转向Google Edge TPU。对于Google而言,很少在其报告中包含优秀竞争对手的结果。 Edge TPU的分类性能为130 FPS,是Nano!的两倍。对于对象检测,Edge TPU也更快,但在48 FPS和39 FPS时仅略有增加。几天前,我获得了Edge TPU板,并运行了随附的演示,这是我获得的75 FPS!我尚未输入代码来研究神经网络图像的大小,这对推理速度有很大影响,但演示必须看起来非常流畅,FPS令人印象深刻!

尺寸,功率和成本

尺寸是影响实际应用的重要因素,它必须足够小以适合边缘设备。开发板包含一些可能不在生产模块中使用的外围设备,例如宽带,USB插座,但是开发板为我们提供了有关尺寸和功耗说明的好主意。下图显示了实际开发板参数的比较。如您所见,Coral Edge TPU开发板正好是银行卡的大小,您可以将其用作测量大小的参考。

哪个优势强?英伟达,英特尔和谷歌已经三足鼎立!

开发板成本效益和生产模块尺寸

NCS2 — US $ 99,72.5毫米x 27毫米

Edge TPU USB-74.99美元$ 65mm x 30mm

Edge TPU开发板-$ 149.99,40 x 48mm

Jetson Nano — 129美元和99美元,45毫米x 70毫米

Jetson Nano和Edge TPU开发板均使用5V电源。前者的电源规格为10W。但是,Edge TPU板上的散热器要小得多,并且在异物检测演示过程中不会一直运行。结合Edge TPU的高效硬件架构,我认为功耗应比Jetson Nano低得多。我认为,在意识到这一艰巨挑战之后,Nvidia将其开发套件的价格定为低至99美元。

另一方面,两个USB3.0记忆棒的尺寸相似,但NCS2的价格较低,尽管其性能也较低。

软件支持

1)Windows系统支持

如您所知,需要将USB记忆棒连接到主机系统,如果您的系统运行Windows,则可以选择NCS2和Edge TPU USB。

2)TPU的局限性

尽管Edge TPU在性能和大小上似乎是最有竞争力的,但它在软件方面也是最大的限制。它仅支持Ubuntu作为主机系统,但最大的挑战在于机器学习框架。它们仅支持ML框架Tensorflow。从技术上讲,它称为Tensorflow Lite,它是一种支持有限数量的神经网络层的变体。它甚至不支持完整的Tensorflow Lite,仅支持量化为8位整数(INT8)的模型!相反,NCS2除了INT8还支持FP16(16位浮点)。

这是什么意思?传统上,深度学习模型是在FP32中训练的,通常可以轻松地将其转换为FP16,而不会损失准确性。但是,INT8并非如此,经过培训后进行转换通常会给您带来灾难性的准确性。您必须将量化纳入训练。这意味着您不能使用预先训练的FP32 AI模型,而必须在模型中添加一些图层并从头开始训练。由于水平的提高,培训将比您通常花费的时间更长。

Google确实提供了一些经过预先训练的模型,您可以在其中进行微调并节省大量时间,但是不幸的是,您只能选择一些计算机视觉模型。这就是为什么Nvidia的Edge TPU基准中有这么多DNR的原因。这就是英特尔和Nvidia做得更好的地方。英特尔提供了许多预先训练的模型。有趣的是,它包括使用二进制卷积层或更普遍的1位层的resnet50-binary-0001。英特尔的OpenVINO允许转换Tensorflow,Caffe,MxNet,Kaldi和ONNX模型。

应用领域

现在,我们已经概述了这些平台的优缺点,我们应该针对哪些应用程序使用哪些平台?

他们都有运行计算机视觉AI的能力,但是我认为这对每个应用程序都是最好的。我还将提到它们的一些独特的硬件功能。

1)英特尔神经计算棒

优点:支持Windows,快速部署,良好的模型选择

缺点:推理速度相对较慢,价格昂贵。它允许非常简单快速地将AI升级到现有系统。这对于业余爱好者和小批量项目也很有用。

2)Google Edge TPU

优点:最佳性能,带有Wifi和加密引擎

缺点:培训资源有限,不支持AI模型和软件库,例如OpenCV。尽管价格是所有产品中最高的,但它包含一个完整的系统(例如Wifi和加密引擎),使其非常适合消费类电子产品和IoT设备(例如家用电子产品)。对于消费电子行业,它们具有更大的意义。

3)英伟达Jetson Nano

优势:良好的软件生态系统和资源,附加的软件库

缺点:体积大,将是无人机,人工智能玩具,吸尘器等自动驾驶汽车的理想选择。这是一个通用的AI平台,因此在其他平台无法胜任的领域中,您可以安全地选择Nano。

EDGE AI已经到来,那么我对未来的硬件有何预测?目前,任何低于8位的数字都不能提供良好的精度,但这是一个活跃的研究领域,硬件公司应准备欢迎算法研究方面的突破。计算机视觉是深度学习已彻底改变的第一个领域。我们看到上述所有平台都强烈支持用于计算机视觉的前馈卷积神经网络。随着基于语音的智能系统(例如Alexa)的兴起,我看到边缘AI芯片在语音方面仍存在差距。

据悉,谷歌Coral Edge TPU系列硬件设备已经投放市场,并与Gravitylink(重力链接)等多家企业建立了合作关系。

基于Edge TPU软硬件和国内AI行业生态系统,Gravitylink创建了一个全球AI算法和解决方案交易市场“ Ti Ling AI Market”,致力于帮助来自世界各地的优秀AI服务提供商和需求者建立更多的平台。高效,直接的链接以加快AI技术在各个领域的落地和应用。不仅有基于企业需求的AI业务平台,而且有AI行业所需的多维机器学习模型,算法和硬件。

«   2020年5月   »
123
45678910
11121314151617
18192021222324
25262728293031
网站分类
控制面板
您好,欢迎到访网站!
  查看权限
友情链接

Powered By Z-BlogPHP 1.6.0 Valyria

Copyright © 有福网http://youfu.org