当前位置:首页 >> 能源/化工 >>

BS2014-B307手势和体感控制机器人


2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

作者姓名:师哲、李皓、张明明

指导老师:刘龙辉、王亮、黄明德

参赛学校:武汉工程大学邮电与信息工程学院



参赛编号:BS2014-B307

2014 年 4 月

1

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

目录

摘 第一章 第二章

要 ................................................................................................................ 3 绪 论 ................................................................................................... 4

六足机器人结构 ................................................................................... 5

2.1 六足机器人结构 ....................................................................................... 5 2.2 舵机的选型与控制原理 ........................................................................... 5 2.3 控制原理简图 ........................................................................................... 6 2.4 电池的选型 ............................................................................................... 6 2.5 电路和原理 ............................................................................................... 6 2.6 无线蓝牙 2.0 ............................................................................................. 9 2.7 整体原理 ................................................................................................... 9 第三章 手势控制系统 ..................................................................................... 10

4.1 基于 YCrCb 的手部提取 ......................................................................... 10 4.2 指尖个数识别 ........................................................................................ 11 4.3 手势识别系统流程 ................................................................................ 12 第四章 第五章 第六章 第七章 体感控制系统 ..................................................................................... 14 无线充电系统 ..................................................................................... 15 手势控制拓展研究 ............................................................................. 16 课题总结和技术展望 ......................................................................... 17

参考文献............................................................................................................... 18

2

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人





本课题制作了一个六足爬行的机器人,我们摈弃了以往用遥控或者电脑界面 控制的方法,取而代之的是用简单的手势动作和体态动作来控制机器人的运动。 六足机器人是以本次比赛所规定的 ARM Cortex-M3 LM3S811 芯片为核心控制 芯片,机器人由 18 个舵机组成,通过调节舵机的运动幅度,使得机器人进行爬行 运动。通过蓝牙来实现与手势和体感之间的通信。 通过普通的摄像头来捕捉手势,用 OpenCV 对采集的视频做处理,提取手掌 部分并做相应的分析来识别手势的动作, 将识别的手势信号转换为机器人的控制 信号来控制机器人的运动。 同时我们也制作了一个控制指环,通过识别四个水银 开关的导通状态来识别手指的运动,实现了通过体态来控制机器人。 此外,我们还制作了一个无线充电器,用此对机器人进行充电,实现了无接 触式的充电,更加方便的解决了用电问题。 整个课题以机器人为核心,围绕着如何控制,如何供电的问题进行展开。研 究了手势控制、体态控制、无线充电三个比较热门的技术,作品成本低、实用性 强、可拓展性强。 本课题最大的亮点在于手势信息的识别,并根据识别的信号给出相应的控制 信号。这种控制方式突破了常规的鼠标、键盘、遥控器的控制方式,是一种更加 符合人际交流习惯的人机交互技术, 人们只需要做一些规定的动作就可以实现对 机器人的控制。这种控制方式具有广阔的发展前景,是许多研究的热点,本文在 最后也根据识别出来的手势结合 Windows 的 API 函数对电脑进行了一些控制。

关键词:六足机器人;OpenCV;手势控制;体态控制;无线充电

3

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第一章 绪



随着科学技术的发展,人们一直在探寻着一种新的人机交互方式来突破鼠标、 键盘、遥控器的约束。我们的课题就是以手势识别为切入点,通过识别手势动作 来控制机器人的运动,达到真正的人机互动。 课题分为两个大的方面,其一是手势识别,其二是六足机器人。手势识别是 基于 VS2010 为开发平台,通过视觉开元库 OpenCV 来实现的。首先通过摄像头 来捕捉手势区域,对肤色进行提取,我们采用的是 YCrCb 的颜色转换方法。在正 确识别手部区域后, 我们通过识别手部凸包来识别手指指尖,就可以统计手指个 数。在识别指尖的基础上,我们通过指尖的坐标位置调用鼠标的 API 函数来控制 鼠标的移动, 通过手掌张开和闭合时的变化来控制鼠标的单击事件,通过判断手 部运动的趋势和方向来识别上、下、左、右四个方向,进而控制键盘的按键。这 样就可以做到单纯用手就可以控制电脑键盘和鼠标,到达手势控制的目的。 机器人的核心控制芯片是由北京达盛科技公司提供的毕昇杯指定核心微型 控制芯片 LM3S811,机器人的舵机是由舵机微控芯片 ATMEGA168 来控制的,通 过调节舵机的运动幅度来控制机器人的行走。 手势和机器人的通信是通过蓝牙模块进行的,我们在判断出手势信息的基础 上给蓝牙模块的串口写数据, 发个机器人的接受端,接受端通过判断接受的信息 来识别相应的指令,进而控制机器人前、后、左、右的行走。 在完成手势控制的基础上,我们也研究了一种体感控制的方法。我们采用四 个水银开关,例如手向上倾斜和向下、左、右倾斜,水银开关的导通情况是不一 样的,通过这一点来识别体态到达控制机器人的目的。 本课题最大的亮点是采用了一种全新的控制理念,我们不在依赖于鼠标、键 盘或者遥控设备, 而是通过最直接的手势和体态来识别一些基本的信息控制相应 设备的工作。

4

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第二章 六足机器人结构
2.1 六足机器人结构 六足步行机器人的步态是多样的,其中三角步态是六足步行机器人实现步行 的典型步态。 “六足纲” 昆虫步行时,一般不是六足同时直线前进,而是将三 对足分成两组,以三角形支架结构交替前行。目前,大部分六足机器人采用了仿 昆虫的结构,6 条腿分布在身体的两侧,身体左侧的前、后足及右侧的中足为一 组,右侧的前、后足和左侧的中足为另一组,分别组成两个三角形支架,依靠大 腿前后划动实现支撑和摆动过程,这就是典型的三角步态行走法,如图所示。图 中机器人的髋关节在水平和垂直方向上运动。此时,B、D、F 脚为摆动脚,A、 C、E 脚原地不动,只是支撑身体向前。由于身体重心低,不用协调 Z 向运动, 容易稳定,所以这种行走方案能得到广泛运用。

2.2 舵机的选型与控制原理

5

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

2.3 控制原理简图

2.4 电池的选型 选用电池规格:可充电锂电、7.4v 2200mah 25c、放电电流可达 10A。

2.5 电路和原理 核心微控 LM3S811:

6

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

JTAG 仿真口电路:

电源指示、振荡、复位及电源稳压电路:

下载电路(选用 pl-2303)

7

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

舵机驱动(4 片 74HC595)

8

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

2.6 无线蓝牙 2.0

对该蓝牙模块进行 AT 指令的调试达到电脑与机器人的无线透明通讯。

2.7 整体原理 机器人是由 LM3S811 芯片为主控芯片, 舵机是由舵机微控芯片 168 来控制的。 通过调整舵机的运动幅度,使得机器人进行爬行,调节好舵机运动的幅度后,通 过 LM3S811 芯片来调用以前调节好的舵机运动幅度的数据文件, 从而控制机器人 的运动。 我们的机器人由 18 个舵机组成,通过 74HC595 进行驱动。机器人通过蓝牙 模块接收手势信号传给 LM3S811 芯片,LM3S811 通过判断对应的接收信息,来调 用对应的舵机运动的数据文件,进而控制输出端口的 PWM 波,达到控制舵机的目 的。

9

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第三章 手势控制系统
4.1 基于 YCrCb 的手部提取
一张彩色的图片是由红、绿、蓝三种颜色组成,即 RGB 颜色空间,这三种颜 色通过一定的搭配就可以形成世界上的各种各样的颜色。 但是在手势识别的处理 过程中由于光照变化的影响和不同人种肤色差别很大等因素都会对 RGB 三种颜 色的值产生很大的影响,所以想要靠 RGB 的值来区别人手的方式并不适用。 YCrCb 颜色空间即 YUV,用明亮度(Y)和色度(U 和 V)来表示一幅图像, 作用是描述影像色彩及饱和度, 通过 YCrCb 颜色空间的转换可以消除由于光照和 人种肤色照成的影响。 根据文献中的数据可以知道,人的皮肤颜色在 YCbCr 色度空间的分布范围:

77 ? Cb ? 127,133 ? Cr ? 173, 选取这个范围作为肤色分割的阈值。
以下是 RGB 颜色空间与 YCrCb 颜色空间的转换关系:

Y ? 0.2990 ? R ? 0.5870 ? G ? 0.1140 ? B Cr ? 0.5000 ? R ? 0.4187 ? G ? 0.0813 ? B ? 128 Cb ? ?0.1687 ? R ? 0.3313 ? G ? 0.5000 ? B ? 128
我们对比了在较暗、正常、明亮三种条件下提取手部的情况,选择的背景是 和肤色颜色很相近的一个相框和一件衣服,来观察其去除噪声的程度,如下图:

(1)原始图片

(2)RGB 转 YCrCb

10

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

4.2 指尖个数识别
前面已经将手部区域提取出来,为了确定手指的位置,还需要引入凸包[3]这 一概念。 将含有手部区域的图片二值化,在计算机中这幅图片是以二维平面的点 集构成的。如图 4-1 就可以表示计算机中保存的一副二值化图片的信息。凸包就 是将最外层的点连接起来构成的凸多边型,它能包含点集中所有的点,如图 4-2 所示。根据凸包这一概念我们就可以对手指进行识别。

(1)二值化平面点集 图4 凸包提取示意图

(2)凸包提取

通过形态学的观察 (如图 5-1) , 很容易发现指尖就在这些凸多边形的顶点中, OpenCV 提供了 convexHull 函数帮助提取凸包顶点,将提取的凸包顶点用蓝色点 标记,如图 5-2。从图 5-2 中可以发现,有些手指被重复标记,无关区域也被标 记出来了,这些就给精确识别手指带来了麻烦,需要对这些点进行去除。 对于有些手指被重复标记的情况,规定当蓝色圆圈距离比较近的时候只标记 其中一个。对于手掌下部也被标记的情况,通过提取手心的坐标,并规定低于手 心的区域不做标记。 这样一来就可以比较准确的标记出手指指尖的位置,通过统 计蓝色圆圈的个数就可以知道手指的个数,如图 5-3。

图5

指尖识别
11

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

4.3 手势识别系统流程
手势控制六足机器人需要发出前、后、左、右、停止这 5 种控制信号,通过 识别手势上、下、左、右、张手来完成控制。系统框图如下:

实时图像捕捉

判断是否有手进入





count 清 零

Hand置 1 count 计 数

Hand==0

Hand==1

count==1

count!=1

记录最后一帧 图像的信息

记录开始一帧 图像的信息

实时记录该帧 图像的信息

根据手进出的方向 判断手势上下左右

帧间图像 信息处理

程序设置 Hand 和 count 两个变量分别标记是否捕捉到手和手进入的帧数。 当有手进入的时候 Hand 置为 1,否则置为 0。当有手的时候 count 计数,无手的 时候 count 清 0。于是有如下几种情况: 1) Hand==0, count==0: 表示没有手进入, 不执行任何语句, 继续捕捉图像。 2) Hand==1, count==1: 表示手刚刚进入图像区域 (第一帧) , 保存该图像。 3) Hand==1,count==n:表示手一直在图像区域中,对帧间图像进行处理就 可以得到手势信息。
12

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

4) Hand==0,count==k:表示图像中已经没有了手,但是由于 count 还未清 0,则可以说明手刚刚离开了捕捉区域(最后一帧) 。 通过判断第一帧和最后一帧之间手心坐标的移动方法就可以判断手势运动 的方向。情况 3 中的帧间图像处理可以识别张手的信息。 当符合判断条件的时候,通过向蓝牙串口写数据就可以给机器人发送相应的 指令,进而控制机器人的运动。 我们的手势识别系统远远不止这些功能,本文第七章还给出了其他的控制功 能,比如通过识别指尖坐标控制鼠标移动、单击,通过一些规定的手势动作控制 PPT、看图软件、打开文件夹等。

13

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第四章 体感控制系统

体感控制系统是由 4 个水银开关组成,水银开关由于倾斜方向不同,其导通 情况也会不同, 通过读取单片机端口电平的数据 (0/1) , 就可以判断倾斜的状态, 发出不同的控制信号,从而到达根据体感控制控制机器人。
K1 方向 1 方向 2 方向 3 方向 4 0 0 1 1 K2 0 1 1 0 K3 1 0 0 1 K4 1 1 0 0 状态 前 后 左 右

我们采用 51 单片机来进行实验, 当判断出相应信息的时候给蓝牙串口发 送相应的数据,机器人端接受相应的数据即可。作品实物图如下:

体感控制也是时下非常热门的一个技术,比如我们可以通过可穿戴设备来控 制电脑,上图的指环就可以实现通过蓝牙控制手机和其他设备的功能。

14

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第五章 无线充电系统

无线充电器的工作原理利用的是法拉第电磁感应,当电流通过线圈之后,便 会产生出磁场;而产生的磁场又会形成电压,有了电压之后便会产生电流,有了 电流便可以充电。无线充电有两大特点:一是让电器与电源完全分离,在使用上 更加安全、灵活,二是可以通过非金属物质传递电能,可以实现隔物供电,这是 传统供电无法比拟的。

15

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第六章 手势控制拓展研究
在识别手势信息的基础上,我们调用了鼠标键盘的函数来控制电脑,实 现了手势控制图片浏览和手玩切水果的小游戏设计,效果图如下: 识别手指个数和手离屏幕距离:

手势控制照片墙:

玩切水果小游戏:

16

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

第七章 课题总结和技术展望

我们的课题实现了一种全新的交互方式,通过识别手势和体感来控制机器人 和电脑设备。 手势识别这一技术有非常广泛的应用,用手势来控制电脑可以实现 对电子设备的隔空操作。 这种技术有很广泛的应用:例如微软研究的 Kinect,你只用手挥阿挥,不用 任何按键,就可以选择好各种选项并进入游戏。面向 PC 以及 Mac 的体感控制器 制造公司 Leap 研发了一款 Leap Motion 体感控制器支持 Windows 7、Windows 8 以及 Mac OS X 10.7 及 10.8,该设备功能类似 Kinect,可以在 PC 及 Mac 上通过手 势控制电脑。还有一款根据体感来控制手机、电脑的指环,这种可穿戴设备也是 非常具有研究价值的。

17

2014 年“毕昇杯”全国大学生电子创新设计竞赛

手势和体感控制机器人

参考文献
[1] 邹洪. 实时动态手势识别关键技术研究[硕士学位论文]. 广州:华南理工大学, 2011. [2] 李剑飞. 基于视觉的实时手势跟踪与识别研究 [硕士学位论文]. 北京:北方工 业大学,2011. [3] Gary Bradski & Adrian Kaebler. 学习 OpenCV 中文版. 于仕琪,刘瑞祯,译. 北 京:清华大学出版社,2008.

18


相关文章:
第八届毕升杯获奖名单
基于语音无线控制的智能机器 BS2013-B035 李艺阳 ...体感鼠标 BS2013-B300 刘甜甜 李邦 吴正光 安徽...手势演奏器 BS2013-S012 温丽丽 展慕霞 许淑新 ...
更多相关标签:
体感机器人 | 体感控制机器人 | 手势控制机器人 | 手势识别 机器人 | oppo手势体感怎么用 | 手势体感 | 乐视手势体感摄像头 | 体感手势控制器 |