嵌入式AI开发入门：基于DAMOYOLO-S和常见单片机实现智能小车避障

嵌入式AI开发入门基于DAMOYOLO-S和常见单片机实现智能小车避障最近几年AI不再只是云端服务器里的“大脑”它正变得越来越小越来越靠近我们身边。你有没有想过让一辆玩具小车自己“看”路然后聪明地绕开障碍物这听起来像是高级实验室的项目但其实用一些常见的开发板和开源模型我们自己在家就能动手实现。今天我们就来聊聊如何把一个轻量级的AI模型——DAMOYOLO-S塞进树莓派或者Jetson Nano这样的嵌入式主控里再让它通过摄像头“看”世界最后指挥一块小小的单片机比如Arduino去控制电机让一辆智能小车实现自动避障。这不仅仅是一个好玩的DIY项目更是理解嵌入式AI开发全流程的绝佳实践。从模型部署到硬件控制从串口通信到简单的控制逻辑整个过程就像搭积木一样充满了乐趣和挑战。1. 项目总览我们要做什么简单来说这个项目的目标就是造一辆能自己“看”路、自己“想”办法、自己“走”路的小车。它不需要你拿着遥控器而是完全自主运行。整个系统的核心思路是这样的小车顶部的摄像头就像它的眼睛实时拍摄前方的画面。这些画面被送到树莓派我们称之为“大脑”里大脑里运行着一个叫DAMOYOLO-S的AI模型这个模型专门负责从画面里找出障碍物比如椅子腿、墙壁或者地上的玩具。一旦发现了障碍物大脑就会根据障碍物的位置和大小快速做出决策“向左转”还是“向右转”这个决策指令会通过一根数据线串口发送给负责控制手脚的“小脑”——也就是单片机。单片机收到指令后立刻驱动电机和轮子执行动作从而灵巧地避开障碍物。整个过程是实时、循环进行的小车就这样一边看一边想一边走实现了自主避障。这个项目完美融合了嵌入式开发、计算机视觉和自动控制三个领域是一个综合性很强的入门实践。2. 为什么选择DAMOYOLO-S和单片机在开始动手之前你可能会有疑问AI模型和硬件控制芯片那么多为什么偏偏是它们俩DAMOYOLO-S为嵌入式而生的“火眼金睛”YOLO系列模型在目标检测领域大名鼎鼎它以速度快著称。而DAMOYOLO-S是专门为资源受限的嵌入式设备优化过的版本。它的“S”代表“Small”意味着它更小、更快但对精度的牺牲在可接受范围内。对于我们的避障小车来说我们不需要识别出障碍物具体是猫还是狗只需要知道“那里有个东西挡路了”并且能快速给出它的位置框。DAMOYOLO-S在这方面的表现非常出色它能在树莓派4B上达到接近实时的检测速度例如10-15 FPS这对于需要快速反应的小车来说至关重要。单片机稳定可靠的“运动指挥官”为什么不用树莓派直接控制电机当然可以但这里用单片机如Arduino UNO、ESP32有几个好处专事专办树莓派运行Linux系统和Python推理程序本身负载就不轻。把实时性要求高的电机脉冲控制交给专门的单片机可以让系统更稳定避免因系统卡顿导致小车失控。电路简单驱动电机需要电机驱动板如L298N、TB6612这些模块与单片机的接口简单的数字IO和PWM比与树莓派的接口通常需要额外的扩展板更直接、更稳定。可靠性高单片机程序一旦烧录几乎不会崩溃非常适合执行重复、精确的底层控制任务。两者的结合构成了一个典型的主从式控制系统树莓派作为上位机负责复杂的感知和决策单片机作为下位机负责可靠地执行动作。它们之间通过串口UART进行通信这是一种简单、通用且可靠的通信方式。3. 硬件准备与连接工欲善其事必先利其器。我们先来看看需要准备哪些硬件以及如何把它们正确地连接起来。核心部件清单主控大脑树莓派4B2GB或以上内存或 Jetson Nano2GB版本。本文以树莓派为例。协控制器小脑Arduino UNO R3 或 ESP32开发板。感知模块眼睛USB摄像头或树莓派官方摄像头模块。执行机构腿脚直流减速电机 x2用于驱动左右轮。电机驱动板L298N或TB6612FNG模块。车轮、万向轮、小车底盘。能源心脏为树莓派供电5V/3A的Type-C电源。为电机和单片机供电7-12V的锂电池组。连接线杜邦线公对公、公对母、USB数据线用于Arduino编程和供电。硬件连接示意图以Arduino L298N为例整个系统的连接可以分为几个部分树莓派与摄像头将USB摄像头插入树莓派的USB口或者将CSI摄像头排线插入树莓派的CSI接口。树莓派与Arduino用一根USB数据线A口转B口连接两者这既用于供电也用于串口通信。Arduino与电机驱动板L298N控制信号将Arduino的数字引脚如5, 6, 9, 10连接到L298N的IN1, IN2, IN3, IN4用于控制电机的正反转。使能信号将Arduino的PWM引脚如3, 11连接到L298N的ENA, ENB用于控制电机的速度。电机驱动板与电机、电源将左右电机的线分别接在L298N的OUT1OUT2、OUT3OUT4上。将锂电池的正负极接到L298N的电源输入端子注意电压范围。L298N上的5V输出可以接回Arduino的VIN或5V引脚为Arduino供电如果不用USB供电的话。电源管理非常重要电机在启动和堵转时会产生很大的电流可能会干扰树莓派和Arduino。建议将电机电源锂电池与控制电路电源树莓派/Arduino在物理上隔离或者使用大电容进行滤波。最简单的做法是使用两套独立的电池分别供电。连接好后你的小车应该有一个清晰的“数据流”摄像头 - 树莓派 - (USB串口) - Arduino - (控制线) - 电机驱动板 - 电机。4. 软件环境搭建与模型部署硬件搭好了接下来就是给“大脑”和“小脑”注入灵魂——软件。4.1 树莓派侧让AI模型跑起来首先我们需要在树莓派上准备好运行DAMOYOLO-S的环境。# 1. 更新系统 sudo apt update sudo apt upgrade -y # 2. 安装Python基础环境假设使用Python3 sudo apt install python3-pip python3-venv -y # 3. 创建并激活虚拟环境推荐便于管理 python3 -m venv damo_env source damo_env/bin/activate # 4. 安装深度学习框架这里以PyTorch为例请访问PyTorch官网获取树莓派arm64架构的最新安装命令 # 例如可能需要从特定源安装 pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cpu # 5. 安装其他必要库 pip3 install opencv-python-headless numpy pyserial pillow # 6. 获取DAMOYOLO-S模型 # 你可以从其官方GitHub仓库克隆代码和下载预训练权重 git clone https://github.com/开源仓库地址/DAMO-YOLO.git cd DAMO-YOLO # 根据仓库README安装依赖并下载damoyolo_tinynasL20_S.pt这类轻量级权重文件部署的关键在于模型转换与优化。原始的PyTorch模型.pt可能不是最高效的。为了在树莓派上获得更好的速度我们可以尝试TorchScript将模型转换为TorchScript格式可以获得一定的优化和脱离Python依赖的运行能力。ONNX Runtime将模型导出为ONNX格式然后使用ONNX Runtime进行推理在某些硬件上可能更快。针对ARM的优化使用像torch.nn.quantized进行动态量化可以显著减少模型大小并提升速度虽然精度会略有下降。这里我们提供一个简单的PyTorch原生命令行推理脚本的核心片段展示如何加载模型并进行检测import torch import cv2 # 加载模型确保路径正确 model torch.hub.load(path/to/DAMO-YOLO, damoyolo_tinynasL20_S, pretrainedTrue, sourcelocal) model.eval() # 切换到评估模式 # 如果有GPUJetson Nano可以 model.to(cuda) # 摄像头捕获 cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break # 预处理图像缩放、归一化、转换为Tensor img cv2.resize(frame, (640, 640)) # 模型输入尺寸 img_tensor torch.from_numpy(img).permute(2,0,1).unsqueeze(0).float() / 255.0 # 推理 with torch.no_grad(): predictions model(img_tensor) # 后处理解析predictions得到边界框、置信度、类别 # 这里需要根据DAMOYOLO的具体输出格式编写后处理代码 # 例如使用自带的utils进行非极大值抑制(NMS) # boxes, scores, class_ids process_predictions(predictions) # 在图像上画框 # for box in boxes: # x1, y1, x2, y2 box # cv2.rectangle(frame, (x1, y1), (x2, y2), (0,255,0), 2) # 决策逻辑见下一章 # command make_decision(boxes, frame_width) # send_command_to_arduino(command) cv2.imshow(Obstacle Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()4.2 Arduino侧编写可靠的控制程序Arduino的程序相对简单核心就是监听串口指令并控制电机驱动板输出相应的电平信号。// Arduino避障小车控制程序 // 引脚定义 (根据你的实际连接修改) const int in1 5; const int in2 6; const int enA 3; // PWM引脚 const int in3 9; const int in4 10; const int enB 11; // PWM引脚 void setup() { // 初始化串口通信波特率需与树莓派设置一致 Serial.begin(115200); // 初始化电机控制引脚为输出模式 pinMode(in1, OUTPUT); pinMode(in2, OUTPUT); pinMode(enA, OUTPUT); pinMode(in3, OUTPUT); pinMode(in4, OUTPUT); pinMode(enB, OUTPUT); // 初始状态停止 stopCar(); } void loop() { // 检查串口是否有数据到达 if (Serial.available() 0) { char command Serial.read(); // 读取一个字符指令 switch(command) { case F: // 前进 moveForward(); break; case B: // 后退 moveBackward(); break; case L: // 左转 turnLeft(); break; case R: // 右转 turnRight(); break; case S: // 停止 stopCar(); break; // 可以添加更多指令如不同速度‘1’‘2’‘3’ default: // 未知指令忽略或停止 stopCar(); } // 可选发送回执给树莓派告知指令已执行 // Serial.println(OK); } // 可以添加一些延时防止电机频繁切换 // delay(50); } // 以下是基本的电机控制函数 void moveForward() { digitalWrite(in1, HIGH); digitalWrite(in2, LOW); analogWrite(enA, 200); // 设置PWM速度值 (0-255) digitalWrite(in3, HIGH); digitalWrite(in4, LOW); analogWrite(enB, 200); } void turnLeft() { // 左轮后退或停止右轮前进 digitalWrite(in1, LOW); digitalWrite(in2, HIGH); // 左轮后退 analogWrite(enA, 150); digitalWrite(in3, HIGH); // 右轮前进 digitalWrite(in4, LOW); analogWrite(enB, 150); } void stopCar() { digitalWrite(in1, LOW); digitalWrite(in2, LOW); analogWrite(enA, 0); digitalWrite(in3, LOW); digitalWrite(in4, LOW); analogWrite(enB, 0); } // moveBackward()和turnRight()函数类似省略...将这段代码通过Arduino IDE上传到你的Arduino板子上它就准备好了接收来自树莓派的指令。5. 核心逻辑从“看到”到“避开”这是整个项目最有趣的部分我们需要编写决策逻辑把AI“看到”的障碍物信息转化为具体的行动指令。5.1 图像分析与决策制定在树莓派的Python程序中我们从DAMOYOLO-S模型得到了检测框boxes信息。一个简单的避障策略可以这样设计划分区域将摄像头画面在水平方向上划分为三个区域“左”、“中”、“右”。例如对于640像素宽的图像可以设定[0, 213)为左[213, 427)为中[427, 640]为右。分析威胁遍历所有检测到的障碍物框。计算每个框的中心点X坐标判断它落在哪个区域。同时可以考虑框的大小面积作为威胁程度的另一个指标大而近的障碍物需要更早做出反应。制定规则设计一套简单的“如果...就...”规则。规则1如果“中”区域有障碍物 → 立即停止或减速并判断“左”和“右”哪个区域的障碍物更少或没有然后向该方向转弯。规则2如果只有“左”区域有障碍物 → 向右转。规则3如果只有“右”区域有障碍物 → 向左转。规则4如果“左”和“右”都有障碍物 → 后退然后随机选择一个方向尝试转弯。规则5如果没有任何障碍物 → 直行。# 决策逻辑函数示例 def make_decision(boxes, img_width): boxes: 列表每个元素为 [x1, y1, x2, y2] img_width: 图像宽度 返回一个字符指令如 F, L, R, B, S if not boxes: return F # 前方无障碍前进 left_zone, center_zone, right_zone 0, 0, 0 zone_width img_width // 3 for box in boxes: x_center (box[0] box[2]) / 2 if x_center zone_width: left_zone 1 elif x_center 2 * zone_width: center_zone 1 else: right_zone 1 # 简单规则决策 if center_zone 0: # 中间有障碍查看左右情况 if left_zone right_zone: return L # 向左转假设左边障碍少 else: return R # 向右转 elif left_zone 0 and right_zone 0: return R # 仅左边有障碍向右转 elif right_zone 0 and left_zone 0: return L # 仅右边有障碍向左转 elif left_zone 0 and right_zone 0: return B # 左右都有障碍先后退 else: return F # 默认前进5.2 串口通信大脑对小脑发号施令决策做出后树莓派需要通过串口将指令如L发送给Arduino。Python中可以使用pyserial库。import serial import time # 初始化串口端口名和波特率需与Arduino一致 # 在树莓派上Arduino通过USB连接通常为 /dev/ttyACM0 或 /dev/ttyUSB0 ser serial.Serial(/dev/ttyACM0, 115200, timeout1) time.sleep(2) # 等待串口稳定 # 在之前的循环中获得指令后发送 command make_decision(detected_boxes, frame_width) ser.write(command.encode(utf-8)) # 发送单个字符 # 可选读取Arduino的回执 # if ser.in_waiting: # feedback ser.readline().decode(utf-8).rstrip() # print(fArduino反馈: {feedback})至此从视觉感知到决策再到执行控制的完整闭环就打通了。你的小车应该已经具备了基础的避障能力。6. 调试、优化与更多想法第一次成功让小车跑起来避开一个障碍物那种成就感是无与伦比的。但接下来你可能会发现一些问题这也是项目最精华的部分——调试和优化。问题1反应迟钝或撞上。这可能是因为模型推理速度慢或者决策周期太长。优化方向尝试更小的模型输入分辨率如320x320、使用模型量化、在树莓派上关闭不必要的后台进程、优化Python代码循环。问题2原地打转或决策震荡。这是因为规则太简单当障碍物在边缘时小车可能不断在“左转-检测到-右转-检测到”之间循环。优化方向引入状态记忆比如转弯后必须持续一段时间或者结合更复杂的算法如基于检测框距离和位置的“势场法”。问题3误检导致误动作。地面纹理、阴影可能被误检为障碍物。优化方向对模型检测结果进行滤波比如只关心置信度高于0.5的框或者通过形态学操作对检测区域进行后处理。性能提升可以尝试将模型转换为TensorRT格式针对Jetson Nano或使用LibTorchC API进行推理以获得极致性能。这个项目就像一个开放的画布你可以在此基础上添加无数创意增加循迹功能在车底加装红外或灰度传感器实现沿黑线行走。遥控与自主切换增加蓝牙模块用手柄或手机APP遥控小车并一键切换为自主避障模式。地图构建加装超声波传感器或激光雷达如RPLidar A1让小车在探索中构建简单的环境地图。语音交互接入离线语音识别模块实现“前进”、“左转”等语音控制。视频图传利用树莓派的Wi-Fi将摄像头画面实时传输到电脑或手机上进行监控。动手做一遍你会发现嵌入式AI开发并没有想象中那么遥不可及。它需要你一点点搭建硬件一行行调试代码不断地解决问题。这个过程里你学到的不仅仅是某个模型或某个单片机的用法而是一套完整的、解决实际问题的工程化思维。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。