乐鑫信息科技(688018.SH)近日正式发布ESP-VISION,一款面向ESP32-P4、ESP32-S31及ESP32-S3系列的低代码边缘AI与机器视觉(886002)框架。该方案基于MicroPython提供统一的sensor、image、display、espdl等Python API,将摄像头采集、图像处理、视频编解码及ESP-DL端侧模型推理能力整合为开箱即用的开发工具,显著降低嵌入式视觉应用的开发门槛。
ESP-VISION的核心突破在于让AI贯穿开发与运行两端。框架内置MCP服务,可直接接入Claude、Cursor等支持MCP协议的AI编程工具,使AI理解硬件架构并协助生成代码;同时提供人脸检测、目标检测、姿态估计等官方模型,开发者仅需数行Python代码即可完成图像采集到端侧推理的全流程。针对自定义模型,框架亦提供从训练、量化到部署的完整工具链。
在性能表现上,该框架已针对不同芯片硬件能力实现差异化加速:ESP32-P4集成ISP与硬件H.264编码,面向高性能实时视觉场景;ESP32-S31兼顾图像处理与无线传输;ESP32-S3则以更低成本满足基础视觉需求。实测显示,基于ESP32-P4X-EYE在QVGA分辨率下,目标检测可达约11 FPS,二维码识别约12 FPS。
乐鑫同步推出Web编程平台,开发者无需搭建本地工具链,通过Chrome或Edge浏览器即可在线烧录固件、编写脚本并运行调试,实现从算法验证到功能落地的高效闭环。目前ESP-VISION开源仓库及官方网页已面向开发者开放。
