当前位置: 主页 > 社会实践

山东大学“智慧启航”调研团AI模型部署初探

来源:山东大学 蒋议霆 阅读:4970 复制标题和网址

山东大学控制学院“智慧启航”调研团致力于深化成员在计算机视觉、机器学习、控制系统等多学科领域的专业知识,熟练掌握ROS机器人开发平台,并提升编程、系统集成与问题解决的能力。在此次项目活动中,团队面临的一项核心挑战是如何将人工智能模型有效部署至嵌入式开发板,以实现实时推理功能。

针对目标检测任务,团队成员经过深入讨论发现,利用PC本地环境训练的模型(文件后缀为“.pt”或“.onnx”)无法直接移植至RDK x3开发板执行实时推理。这是因为开发板的环境和资源与PC本地环境存在差异,需要进行特定的适配和优化。

图片

为此,团队成员在地平线技术交流社区广泛搜集资料,深刻认识到人工智能模型部署前需进行量化和校准处理,将模型格式转换为“.bin”后缀,以适应开发板的运行环境。此外,在上板运行前还需进行模型校验,以确保模型中不包含开发板不支持的算子。对于实时性要求较高的模型,还可以采用模型蒸馏、剪枝等技术进行优化,以提高推理速度并减少资源消耗。团队成员深入学习开发板厂商地平线公司发布的官方视频教程,并尝试构建Docker容器环境,配置好模型转换需要的工具链。他们选取了数据集中的约100张图片进行校准,以减少量化过程中的模型精度损失,并输入特定命令进行模型格式转换。

然而,在配置过程中,团队遇到了文件目录错误、环境版本过于老旧、模型文件传输损坏、模型参数非法等一系列问题。但经过团队成员的积极研讨与多次尝试,耗时将近一个星期,最终成功编译出可在开发板上执行目标检测任务的Yolo模型,推理帧率稳定在约15帧,达到了实时推理的要求。

   此次问题的解决,不仅让团队成员深刻体会到人工智能嵌入式应用开发的复杂性与挑战性,也使他们掌握了其中的关键技术与门道,为未来的研究和开发工作奠定了坚实的基础。

相关内容

智慧启航:山东大学控制学院智能车协会实践团智能电表再探寻

本次活动我们划分为两个主要阶段:基础理论学习、功能初步开发。在活动初期,团队成员集中学习了嵌入式系统的基础知识,包括环境搭建、核心概念理解、以及熟悉常用的开发工...

山东大学“智慧启航”调研团智能电表研发初探

根据我国2030年前实现碳达峰、2060年前实现碳中和的目标,在“双碳战略”和我国电力能源转型的大背景下,本研究旨在开发基于嵌入式系统的智能电表。这项技术能够提供实时的...

山东大学“智慧启航”调研团AI模型部署初探

山东大学控制学院“智慧启航”调研团致力于深化成员在计算机视觉、机器学习、控制系统等多学科领域的专业知识,熟练掌握ROS机器人开发平台,并提升编程、系统集成与问题...

智慧启航:山东大学控制学院智能车协会实践团暑期学习活动

山东大学控制学院的“智慧启航”智能车协会实践团,致力于深化项目成员在计算机视觉、机器学习、传感器技术、控制系统等多学科知识上的理解,熟练掌握ROS机器人开发平台...

推荐内容

环境保护协会参与“牢记嘱托护碧水·健康有约文明行”公益活动,弘扬志愿服务精神

2024年9月14日上午9时,六堰人民广场热闹非凡,由十堰市委宣传部...

广东医学子社会实践:助力科苑路小吃街卫生清洁

2024年9月27日讯(通讯员邓薇),2024年9月10日,广东医科大学义...

湖南师范大学公共管理学院2022级政治学与行政学班团支部明确职业规划,树立正确就业观

为深入学习贯彻落实党的二十大会议精神,引导青年大学生树立正确...

精彩由“染”而生----杭坪镇中心小学第十三届传统文化夏令营

在金华市浦江县杭坪镇中心小学的校园里,一件件由孩子们亲手制作...

以画笔绘梦,巢湖姥山岛上的乡村振兴之旅

7月17日,来自巢湖学院的旅游管理学院赴中庙姥山岛“旅绘同行,志...

最新发布

海报

举报

扫码分享