覆盆子

首页 » 常识 » 常识 » 如何用树莓派来实现乐高分拣
TUhjnbcbe - 2021/9/12 20:46:00
治疗白癜风的特效药 http://m.39.net/pf/a_4639949.html

这款是由人工智能驱动用RaspberryPi的自动分拣机的核心,能够识别和分拣任何乐高积木。这是由10,多块乐高积木制成,本身就是乐高产品。

它可以将您放入其输入桶中的任何乐高积木分类到18个输出桶中的一个,每两秒就会有一块积木。

硬件树莓派3型号B+树莓派摄像头模块V29个伺服电机(通过与I2C上的RaspberryPi通信的伺服多路复用器控制)6个乐高电机(通过LN电机控制器使用RaspberryPi上的数字I/O端口进行控制)软件

乐高排序首先开始的是图像数据标注工作,先让机器运行了几天,收集了大约30万张未标记的乐高积木图像。背后的人工智能算法是卷积神经网络,图像分类的首选。首先开始的是图像数据标注工作,先让机器运行了几天,收集了大约30万张未标记的乐高积木图像。用手工给30万张图片一一打上标签显然是不切实际的,而相机会给一块积木拍摄10~20张照片,通过打包标注的方法,可以将效率提高10~20倍。

但即便如此,也有上万组照片需要标记。一次次将标签内容填入csv文件显然是个笨办法。而且乐高种类繁多,比如2×2的方块种类就有很多,没必要分得太细。因此,Daniel决定利用自己的Web开发经验,花几个小时来编写了一个简单的Web应用程序。速度又提高了2~5倍。即便如此,效率仍然太低。

想到用AI“打辅助”,让AI给出TOP-5,自己在App里选中正确的选项,这样每秒5就能标记10张图片,整体效率提升了40~1倍。在软件的设计上,遇到了更大的挑战,那就是树莓派的AI运算能力并不强,如何实现实时的目标检测。

最初,想到使用YOLO或FasterR-CNN,然而很难在树莓派上达到90fps的处理速度,如果将图像流式传输到PC上处理,网络带宽又会成为性能瓶颈。

所以不得不使用“老式”计算机视觉技术——OpenCV库里的MOG2背景扣除器,即使在树莓派3B+上它也能快速处理数据。但是,直接将视频帧发送到MOG2并不能正常工作。浅灰色和白色积木的亮度与传送带背景过于相似,难以识别。需要做的是在图像传递给MOG2之前增加图像的饱和度。

另外,RGB图像的传输带宽也太高,只好使用YUV格式将图像带宽压缩一半,并把目标检测框外的像素裁剪掉。经过重重简化,这套系统达到了70~80fps的处理速度。

乐高积木分离

需要输入桶从他一次性放入的质量中小心地挑选出一块乐高积木。

这是通过主要和次要皮带缓慢地将零件推到振动板上来实现的。振动板使用超快的乐高电机来晃动周围的积木,因此当它们到达扫描仪时,它们不会坐在彼此的顶部。

扫描和排序

甲树莓裨相机模块每一块砖的捕获的视频,这树莓裨3型号B+然后流程和无线地发送到更强大的计算机能够运行所述神经网络进行分类的部件。

然后将分类决策发送回分拣机,以便它可以使用一系列伺服控制门将砖块吐到正确的输出桶中。

张成WUST

1
查看完整版本: 如何用树莓派来实现乐高分拣