全部
  • 全部
  • 解决方案
  • 技术问答
  • 视频中心
  • 知识分享
  • 技术资讯
  • SEED产品
400-048-1230
订阅
  • 首页
  • 解决方案
  • 技术问答
  • 视频中心
  • 知识分享
  • 技术资讯
  • SEED产品
2
问答
基于地平线X3M的SEED-AI_X3M实验套件
来源:Arrow 发布:2022/07/29 浏览量:618
人工智能
方案介绍

SEED-AI_X3M实验套件集成了地平线旭日X3 AI处理器,提供丰富的标准化硬件接口,适配各类产品和外形规格,搭载地平线“天工开物”软件栈,使产品可以满足评测、功能开发及项目量产等场景。结合多年教育行业经验,针对高校AI人才培养需求,推出集教学、应用、科研为一体的AI专业建设解决方案。

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

 

我国在人工智能领域成绩显著,与美国、日本等并列为世界人工智能大国。并且国家对人工智能领域的发展有很多支持,鼓励性措施。《国务院关于印发新一代人工智能发展规划的通知》中明确提出要建立人工智能学科,并鼓励大学设立人工智能学院。SEED-AI_X3M实验套件正是为了学生和研发人员学习以及应用人工智能知识而设计,是一款面向于人工智能等专业的通用型实验平台,符合硬件、网络、平台、计算、应用等智能产品框架,能够开设人工智能、深度学习相关的课程设计。
 
该产品主要硬件搭载了地平线旭日X3 AI 处理器,集成Linux、C++、机器学习、深度学习、OpenCV等运行环境,可以提供5T AI 算力、支持多路摄像头输入,提供丰富标准硬件接口,通过搭载地平线“天工开物”软件栈,用于快速开发、开发中方案验证以及高效研究等场景。
 

地平线旭日X3M的优势

 

地平线旭日X3M是地平线针对AIoT和机器人场景,推出的新一代低功耗﹑高性能的AI处理器。计算能力方面,X3M内置了四核ARM Cortex-A53 CPU和双核BPU AI加速器,其中BPU加速器采用了伯努利2.0架构设计,不仅可以提供高达5Tops的等效AI算力,还极大提升了对先进CNN网络架构的支持效果,极大降低了AI运算对DDR带宽的占用率,从而提供实时像素级视频分割和结构化视频分析等能力。辅以地平线“天工开物”AI开发平台,极大简化算法开发与部署过程,降低AI产品的落地成本。
 
图像处理能力方面,X3M芯片内置了12M Pixels ISP,可以在宽动态、低照度场景下得到高质量的图像。同时还内置了降噪(3DNR)、镜头失真校正(LDC)、畸变矫正(GDC)、旋转缩放、裁剪、金字塔、H.265/H.264/MJPEG 视频编解码等图像处理硬件加速模块,支持4-8路不同分辨率摄像头输入的同步处理,峰值性能可达到4K@60FPS。X3M芯片还集成了一个支持DDR4/LPDDR4/LPDDR4X的DDE控制器,一个USB3.0主机/设备模块,一个带RMII/RGMII接口的千兆以太网MAC,旁路视频/显示输出接口,I2S 音频端口等,能适应丰富的场景需求。
 

近期,针对机器人场景,地平线更是推出了国内首个软硬一体、开放易用的机器人开发平台。该平台由芯片(地平线旭日X3M)、机器人操作系统(地平线TogetherROS)、机器人参考算法(Boxs)、机器人应用实例(Apps)和配套开发工具(Tools)组成。其中,TogetherROS是地平线基于ROS2 Foxy版本二次开发的机器人操作系统,它的通信系统基于ROS2中的DDS,并且针对大数据传输进行了优化,开发机器人应用时可以提升效率减少重复造轮子的工作,进而提升基于地平线芯片平台机器人开发的效率。

 

X3M AI处理器芯片的性能表现

 

针对不同代的BPU架构,我们通过软硬结合协同优化手段,持续优化地平线AI芯片的有效利用率以及AI算法计算效率,实现AI算法全方位性能优化和提升。
 
X3M AI 处理器芯片软硬结合的性能表现

 

X3M AI 处理器芯片极致压缩DDR带宽

 

SEED-AI_X3M方案介绍

 

SEED-AI_X3M实验套件集成了地平线旭日X3 AI处理器,提供丰富的标准化硬件接口,适配各类产品和外形规格,搭载地平线“天工开物”软件栈,使产品可以满足评测、功能开发及项目量产等场景。结合多年教育行业经验,针对高校AI人才培养需求,推出集教学、应用、科研为一体的AI专业建设解决方案。
 
应用领域
  • AI摄像头
  • 机器人
  • 边缘计算盒子
  • 视频会议
  • 高校人工智能相关专业教研平台

 

SEED-AI_X3M实验套件包含 2 块板卡,分别为:
 
  • Horizon Robotics X3M SOM:包含主芯片、内存和电源系统等,为最小系统板
     
  • SEED-AI_X3M_Base:实现 X3M 基础功能扩展及人机交互系统解决方案

 

SEED-AI_X3M套件

 

硬件功能框图

 

SEED-AI_X3M硬件关键特性

 

处理器

地平线SoC X3 (ARM Cotex-A53*4, BPU*2)

存储

2GB LPDDR4+16GB EMMC

视频编解码

支持H.264\H.265硬件编解码,4K@60FPS

摄像头

USB CAMERA (1080p)

USB
Micro USB

以太网

1*100M/1G Ethernet MAC

Debug口

Debug串口

LED

核心板电源LED+底板电源LED

电源

12V/2A 适配器

传感器

预留接口可外接多种传感器(温度、湿度、压力等)

 

SEED-AI_X3M实验套件软件部分由基础系统软件及驱动、AI芯片工具链、AI Express应用开发组件 & 框架以及应用参考解决示例四个部分组成。

 
SEED-AI_X3M软件架构
 
1. 基础系统软件
SEED-AI_X3M的软件系统采用嵌入式Linux,针对芯片内部的各个硬件,系统软件层面提供了丰富的API,主要包括图像通路、ION内存操作、BPU硬件相关、外设操作API函数以及Linux系统相关API函数。
 
2. AI 芯片工具链
AI芯片工具链,又称AI Toolchain,它重点解决深度神经网络模型的训练、转换以及模型部署问题。提供量化训练工具和浮点定点转换工具,模型训练、模型转换、应用开发和部署等基础工具。

 

3. AI 应用开发中间件
AI Express应用开发组件 & 框架,主要面向嵌入式应用系统开发人员,通过提供应用开发框架,应用开发组件以及应用示例来引导开发者快速、高效的完成AI应用开发。提供可复用的算法模块、业务策略模块、应用组件和场景应用参考方案。
 
4. AI 算法仓库:提供各种算法资源。

 

5. AI应用开发单元
AI应用开发主要包括算法模型开发和应用软件开发两个部分,我们提供了Docker环境可快速搭建系统开发环境。

 

  • 算法模型开发:采用地平线旭日 X3 AI 处理器,集成Linux、C++、机器学习、深度学习、OpenCV等运行环境,满足人工智能视觉、语言、机器控制等算法、硬件、应用的开发和学习。如AI机器视觉中的基本内容的了解和学习。

 

 

SEED-AI_X3M算法开发可选模型

 
  • 应用软件开发:实验平台可拓展USB摄像头,WiFi,蓝牙以及各种传感器模块,满足人工智能相关应用的开发和学习。如多路视频盒子、人体感知示例等。

多路视频分析盒子

 

人体感知

 

多路视频分析盒子:采用地平线X3处理器,支持多达8路视频流分析。根据模型能力配置,可以实现人头、人体、人脸检测,人体骨骼关键点提取,人脸抓拍,人脸识别等多种功能。对于开发者来说,通过替换深度神经网络模型可以快速实现自己定义的功能。

 

人体感知:可以检测图像中的人体框、人头框、人脸框、人脸关键点、人脸姿态、年龄与性别。支持从USB CAMERA或者本地图像获取图像源。
 

SEED-AI_X3M 高校通用教研平台硬件组成

 

1.  AI计算模块
采用地平线旭日X3 AI 处理器,集成Linux、C++、机器学习、深度学习、OpenCV等运行环境,满足人工智能视觉、语言、机器控制等算法、硬件、应用的开发和学习。
 
2.  应用拓展模块
实验平台可拓展USB摄像头,MIPI摄像头,WiFi,蓝牙模块等硬件模块,满足人工智能相关应用的开发和学习。
 
3.  AI传感器模块
实验平台搭载各种传感器模块以实现AI和应用的完美结合,使开发人员可以充分体会AI在实际中的应用。
 
教研平台软件架构

 

教研平台资源典型案例:
 
深度学习基础实验单元
  • 手写数字识别
  • 图像分类
  • 目标定位
  • 语义分割
     
AI 应用实验单元
  • 人脸感知
  • 人脸识别
  • 人体姿态识别
  • 人脸轮廓的识别等

 

典型实验结果展示

 

 

欲了解该方案更多详情,请拨打热线电话400-048-1230或发邮件到solution.ap@arrow.com 联系我们。

 

方案提问
* 您希望该提问及回复在网站里公开显示吗?
* 您是Arrow电子的同事吗?
* 请提供公司邮箱地址
2
请使用浏览器分享功能 请点击右上角,进行分享