全部
  • 全部
  • 解决方案
  • 技术问答
  • 视频中心
  • 知识分享
  • 技术资讯
  • SEED产品
400-048-1230
订阅
  • 首页
  • 解决方案
  • 技术问答
  • 视频中心
  • 知识分享
  • 技术资讯
  • SEED产品
【系列连载4】解读Microchip FPGA:智能嵌入式视觉解决方案助力高性能低功耗应用
来源:Arrow 发布:2022/01/05 浏览量:833

智能嵌入式视觉(Smart Embedded Vision)平台为设计人员提供了:基于丰富操作系统的边缘计算、硬实时、2MB大内存和混合实时+丰富操作系统支持。开发人员可以绕过传统的FPGA开发,利用VectorBlox™加速器软件开发工具包和神经网络IP,轻松创建经过训练的基于卷积神经网络(CNN),或者使用基于FPGA的视频工具包执行智能嵌入式视觉应用程序开发。

智能嵌入式视觉(Smart Embedded Vision)平台为设计人员提供了:基于丰富操作系统的边缘计算、硬实时、2MB大内存和混合实时+丰富操作系统支持。开发人员可以绕过传统的FPGA开发,利用VectorBlox™加速器软件开发工具包和神经网络IP,轻松创建经过训练的基于卷积神经网络(CNN),或者使用基于FPGA的视频工具包执行智能嵌入式视觉应用程序开发。

随着数据中心中计算密集型数据工作负载越来越多,网络流量越来越大,计算负载越来越大,PolarFire FPGA的功耗优势越发凸显,热余量提供了更多的算力,从而成为一系列新的密集型边缘计算设备的理想选择,更是那些热设计功耗受限的环境中的设备的理想选择。据验证,PolarFire FPGA的总功耗比竞争对手的中密度FPGA低30-50%,静态功率低5-10倍。PolarFire FPGA智能嵌入式视觉解决方案包括视频、成像和机器学习IP,以及用于加速设计的工具,这些设计需要在工业、医疗、广播、汽车、航空航天和国防市场的低功耗、小面积空间要求下,仍然实现高性能运行。

 

VectorBlox™加速器SDK和神经网络IP

 

VectorBlox™加速器软件开发工具包(SDK),在PolarFire FPGA上提供了最高效的基于卷积神经网络(CNN)的人工智能/机器学习(AI/ML)。

VectorBlox™软件支持:

  • 基于OpenVINO™工具包的前端工具

  • 支持最常见的框架,如TensorFlow, Caffe, MxNet, PyTorch和DarkNet

  • 快速评估,无需事先掌握FPGA知识

  • 基于软件覆盖更新,更新CNN时,不需要重新编程FPGA

 

Imaging Video IPs

 

Microchip的FPGA产品组合通过内部开发和使用我们的第三方合作伙伴生态系统提供可扩展可生产的IP核。IP核组合包括最新的嵌入式视觉IP,如MIPI、SLVS-EC、CoaXPress、Serial Digital Interface (SDI)、HDMI等,第三方IP核如机器学习、H.264、DisplayPort、HDCPIP等也在不断添加进来。

 

PolarFire FPGA视频和成像套件

 
Microsemi/Microchip PolarFire FPGA视频和成像套件 (MPF300-VIDEO-KIT-NS) 采用双摄像头传感器以及诸多显示接口,可对4K图像处理和渲染进行高性能评估。该套件设计用于对各类常用成像和视频协议轻松进行原型设计,这些协议包括MIPI CSI-2 TX、MIPI CSI-2 RX、HDMI 1.4 TX、HDMI 2.0、DSI和HD/3G SDI。
 
PolarFire FPGA视频和成像套件采用带有DDR4和SPI闪存的300K逻辑单元 (LE) PolarFire FPGA,非常适合中频带成像和视频应用。板载PolarFire器件可优化输入/输出 (I/O)、收发器速率、查找表 (LUT4) 架构、存储器和DSP,适用于中等密度/中等带宽范围,以更低的功耗提供卓越的解决方案并降低总拥有成本。

MPF300-VIDEO-KIT-NS 图
 

实操步骤

我们使用MPF300-VIDEO-KIT-NS,用如下三步骤,可以简单搭建起视频系统,评估智能嵌入式视觉解决方案。

 

第一步:用MPF300-VIDEO-KIT-NS随附的智能摄像头项目,对工具包进行编程;

 

第二步:使用VectorBloxTM SDK,从CNN生成BLOB,写入SPI Flash;

第三步:在Soft Console(Elipse)中编写C/C++代码,生成Hex文件,写入SPI Flash。

 

总结

最后,用Microchip FPGA事业部副总裁Bruce Weyer的一段话做结语,他说:“为确保软件开发人员能充分利用FPGA的节能特点,我们应设法使开发人员不再需要学习新的FPGA架构和专属工具流,同时让他们可以灵活地连接多框架和多网络解决方案。利用VectorBloxTM加速器SDK和神经网络IP核,软件和硬件开发人员可以在PolarFire FPGA上部署极其灵活的覆盖神经网络卷积架构。通过PolarFire FPGA,他们可以更轻松地构建和部署在外形尺寸、产热和功耗方面达到一流水准的人工智能边缘系统。”

Microchip FPGA
请使用浏览器分享功能 请点击右上角,进行分享