1 GHz MCU + NPU,Python 开玩!Titan Mini 的 OpenMV 更新来了

开发板 2 次阅读
摘要:让摄像头认出“剪刀石头布”,框出画面中的猫狗,再跟着手掌画出关键点。 这些 AI 视觉玩法,现在可以在RA8P1 Titan Mini上,用熟悉的 Python 脚本逐个体验。 本次 Titan Mini OpenMV 更新,把相机采集、图像处理、神经网络推理和外设控制串了起来: 底层运行RT-Thread 5.1,接入OpenMV 5.0.1 与 MicroPython,再让板载 NPU 加入计

让摄像头认出“剪刀石头布”,框出画面中的猫狗,再跟着手掌画出关键点。

这些 AI 视觉玩法,现在可以在RA8P1 Titan Mini上,用熟悉的 Python 脚本逐个体验。

本次 Titan Mini OpenMV 更新,把相机采集、图像处理、神经网络推理和外设控制串了起来:

底层运行RT-Thread 5.1,接入OpenMV 5.0.1 与 MicroPython,再让板载 NPU 加入计算。

先记住三个关键词:

1 GHz 主频 · NPU 加速 · 194+个 Python 示例

该板卡在 IDE 中标识为 AE3,并非 OpenMV 官方板卡,仅用于模拟演示。

01

硬件够硬核,开发从 Python 开始

Titan Mini 的这套视觉组合,核心是 1 GHz Cortex-M85 + 500 MHz Ethos-U55-256。

通俗一点理解:CPU 负责程序运行、设备控制等工作,NPU 则加速神经网络中适合它处理的计算。摄像头采集画面,模型分析内容,Python 脚本把结果组织成你的应用。

接上 OV5640 MIPI 摄像头,连接 OpenMV IDE,就能围绕画面修改脚本、调整参数、观察识别效果。

对于想体验嵌入式 AI 的开发者,可以从现成示例开始,把注意力放在“我要让它识别什么、识别后做什么”上。

02

从追色块,到看懂手势和姿态

这次值得玩的内容,覆盖了两类常用视觉任务。

先从传统视觉入门。

色块识别、巡线、条码、AprilTag、特征检测、滤波与几何变换,都有对应的功能或示例。想做一个寻找色块的小装置,或给小车增加巡线能力,可以从这里起步。

再把神经网络加进来。

配套示例覆盖人脸检测、手部关键点、人体姿态、物体检测、分类与分割:

  • 玩手势:体验剪刀石头布检测,尝试把识别结果映射成控制指令。

  • 看动作:运行手部 21 点、人脸 468 点或人体姿态示例,观察关键点如何跟随画面变化。

  • 找目标:体验行人、猫狗及常见物体检测,学习从图像中提取目标位置。

神经网络目录提供 23 个脚本,对应 20 个 NPU 模型和 1 个 CPU 回归模型。工程中配有模型文件与部署说明,按对应示例准备资源即可开始体验。

整个示例库则共有 194 个独立 Python 脚本,从视觉、机器学习,一直延伸到外设、存储和通信。

可以先跑通一个小例子,再逐步拼出自己的项目。

石头剪刀布检测

单手关键点跟踪

骨骼检测

行人检测

03

实际跑起来有多快?看应用数据

对于视觉项目,大家关心的是:摄像头持续采集时,识别画面能否跟得上动作。

根据项目性能文档记录,下面三个轻量检测示例的相机应用帧率均约为 41 FPS:

| 检测示例 | 推理调用

均值 | 相机应用

帧率 | | Swift-YOLO

手势检测 | 8.25

ms | 41.22 FPS | | Swift-YOLO

猫狗检测 | 7.94

ms | 41.22 FPS | | Swift-YOLO

行人检测 | 14.97

ms | 41.21 FPS |

FPS 表示每秒处理的画面数量。这里的应用帧率统计,覆盖了采集、推理、后处理、绘图和预览,更接近运行示例时的完整使用流程。

测试条件:Titan Mini、OV5640、SD 存储,固件版本 5.0.1;相机输出 QVGA(320×240),模型输入 192×192。推理调用为固定输入下 12 次测量的均值,应用帧率来自 30 秒测试。不同模型、画面与设置会影响结果。

还可以关注另一组数据:

单手检测与 21 点关键点跟踪,实测 21.88 FPS。

这组测试使用 RGB565、400×400 画面,包含采集、预处理、推理、后处理和绘图,关闭 IDE 预览传输。它与上表的测试条件不同,开启预览后的表现需另行测量。

以上数据均引用项目性能文档,你也可以结合自己的场景与设置进一步实测。

本次录制实际帧率约16帧

04

识别之后,把设备也带动起来

视觉项目的乐趣,还在于让识别结果产生动作。

本工程提供 GPIO、IRQ、PWM、ADC、UART、I2C、SPI 和软件定时器等 Python 外设接口,可以在视觉脚本的基础上继续连接传感器、控制器与执行机构。

例如,你可以尝试:

  • 识别到指定手势,通过串口向另一个控制器发送指令。

  • 根据色块位置,配合舵机及相应驱动,制作目标跟随装置。

  • 识别 AprilTag,向机器人主控输出标记信息。

这些都是可以基于现有能力继续开发的项目方向,具体联动逻辑与外部硬件由你来组合。

日常调试也有熟悉的路径:USB 2.0 HS 连接兼顾 IDE 通信与文件传输。脚本调通后,还可按指南保存为 main.py,配好依赖与资源,在硬件启动时自动运行。

从电脑前调试,到独立运行的小装置,可以沿着同一套工程继续往前做。

05

准备好开发板,四步跑起第一个示例

先备好 Titan Mini、OV5640 MIPI 摄像头、USB 数据线、FAT/FAT32 格式 SD 卡及支持 RA8P1 的烧录器,电脑安装 OpenMV IDE 和烧录软件。

第一步:获取配套固件

按文档从 GitHub Actions 的 OpenMV Firmware 工作流下载构建成功的 SD 配置固件。喜欢自己编译,也可以配好工具链后运行 scons,自动生成发布文件。

第二步:烧录与复制

烧录 rtthread.hex,将配套的 openmv-vision.bin 复制到 SD 卡根目录。两个文件必须来自同一次构建。

第三步:连接 IDE,看见画面

安全弹出存储卷,连接 OpenMV IDE,打开工程中的 helloworld.py 相机预览示例并运行。

第四步:选一个 AI 玩法

从机器学习示例中选择应用,按说明把对应模型、标签及所需素材复制到板端存储,再安全弹出并运行脚本。

示例列表

第一次可以从 FOMO 人脸中心检测开始,再尝试手势检测或手部关键点。

使用提示:IDE 显示的 AE3 是兼容标识,请使用本工程的 RA8P1 固件;官方 Alif AE3 固件与本板不兼容。

https://github.com/RT-Thread-Studio/sdk-bsp-ra8p1-titan-mini/tree/main/project/Titan\_Mini\_Openmv

06

给你的下一个作品,加上视觉

如果你正在学习嵌入式 AI、准备课程或竞赛原型,或者想给手头的机器人增加视觉能力,Titan Mini + OpenMV 值得放进你的开发清单。

它提供了一条具体的实践路径:用 Python 运行示例,观察摄像头画面,理解模型输出,再把结果接到外设控制上。

对已经拥有 Titan Mini 的朋友,这次可以继续挖掘手中开发板的视觉能力;对准备入手的朋友,配套脚本、模型和文档,也让第一个实验有了明确的起点。

想把这些效果搬到自己的桌面上?从一块 Titan Mini 和第一个视觉示例开始。

评论区留言你的 ai 创意:关注公众号+发表 50 字以上关于想在 titan mini 上用 openmv 开发的应用,抽titan mini开发板*1

相关推荐
评论区

登录后即可参与讨论

立即登录