ME6015《机器视觉与应用》课程教学大纲 课程名称：机器视觉与应用 课程代码：ME6015 学分/学时：3 学分/54 学时课程 开课学期：春季学期 适用专业：机械工程、热能与动力工程、工业工程、核工程 先修课程：高等数学、概率论、积分变换、离散数学；高级语言程序设计； 测量与机电控制技术；机械电子学；计算机图形学 开课单位：机械与动力工程学院 一、课程性质和教学目标 课程介绍：课程设置是为了使得硕士研究生了解国内外机器视觉发展的最新 研究成果、机器视觉基本理论与方法以及机器视觉的一些典型应用。通过本课程 学习与实践使学生掌握机器视觉的基本概念、基本理论和方法，引入科研案例、 动手实践和编程练习来加强关键的内容。初步具有运用相应理论和方法解决实际 问题的能力。 教学目标：对图像理解和机器视觉的基本理论，尤其是图像处理的概念、基 本原理以及解决问题的基本思想方法有一个较为全面的了解和领会；学习机器机 视觉的基本理论和技术，了解各种智能图像处理与机器视觉技术的相关应用；具 备解决智能化检测与识别、控制等应用问题的初步能力，为以后从事模式识别与 智能控制、机器人技术、智能制造等领域的研究与开发工作打下扎实的基础。 二、课程教学内容及学时分配 1． 绪论（2 学时/课堂教学） 介绍机器视觉的基本概念和研究内容，机器视觉与其他科学领域的关 系和最新发展现状。 2． 人类视觉，摄像机成像模型，图像与视觉系统（2 学时/课堂教学） 讲授人类视觉系统基本构造和模型，亮度视觉与颜色视觉的基本概念、模型 及视觉特性，空间几何变换与摄像机模型 3． 图像分析基础和图像变换（4 学时/课堂教学+1 学时/讨论） 讲授图像信号的数学表示，图像的采样和量化，图像像素的基本概念及相关 概念，基本图像运算，图像的线性系统理论，二维傅立叶变换及其基本性质，快 速傅立叶变换以及其他的二维正交变换。 4． 图像分割（2 学时/课堂教学） 讲授视觉认知模式，基于边缘的图像分割技术，基于区域的图像分割技术， 图像分割评价。 5． 图像预处理（4 学时/课堂教学+1 学时/讨论） 讲授图像的空域增强与对比度变换；图像噪声消除算法；图像松弛算法；多 种形态学操作，包括图像腐蚀与膨胀，开运算与闭运算，骨架化算法。 6． 边缘检测与轮廓表示（2 学时/课堂教学） 讲授图像的边缘检测算子，包括 Sobel 算子，Canny 算子；图像参数空间变 换，基于 Hough 变换的直线检测与椭圆检测；轮廓表示方法。 7． 纹理与明暗分析（2 学时/课堂教学） 讲授纹理的基本概念，纹理分析统计方法，从纹理恢复物体形状；图像辐射 度的概念，从图像明暗恢复形状。 8． 彩色感知（2 学时/课堂教学） 讲授图像的三色原理；多种不同的图像彩色空间，包括 RGB 空间，HSV 空 间，CMY 空间；讲授彩色图像的处理方法。 9． 摄像机选取、摄像机标定（4 学时/课堂教学+1 学时/讨论） 讲授摄像机选取方法，包括 CCD 的选择，镜头的选择，焦距的计算；讲授 摄像机标定方法，包括 Tsai 法，张正友法，刚体变换，旋转变换表示方法，四 元数。 10． 双目立体视觉（2 学时/课堂教学） 讲授立体视觉的成像原理，双目立体视觉的标定，匹配点的选取，立体视 觉中的对极几何，物体三维形状的计算。 11． 其他三维视觉（2 学时/课堂教学） 讲授多种不同的三维视觉技术，包括基于结构光的三维视觉技术，基于多 传感器信息融合的三维物体建模，传感器自运动估计，由多视角图像恢复三维结 构算法。 12． 物体特征检测（2 学时/课堂教学） 讲授物体特征的定义，物体的形状特征检测，Hu 不变矩，颜色特征检测， 多种特征点检测算法与特征描述子的提取，包括 Harris，SIFT、SURF、SUSAN， FERN，ORB 13． 运动视觉分析（4 学时/课堂教学） 讲授运动物体的检测与跟踪。利用帧差分法检测运动物体；对复杂环境利 用高斯混合模型进行背景建模；基于颜色跟踪物体的 camShift 算法，基于点特 征跟踪物体的 TLD 算法；用光流法估计物体运动 14． 物体识别（4 学时/课堂教学） 讲授物体识别的概念，主流的物体识别算法，包括基于特征点匹配的方法， Bags of Words 算法，Vocabulary Tree 算法；最近邻算法，聚类算法，讲授支持向量机与人工神经网络的基本概念，支持向量机、人工神经网络在物体识别中的应 用。 15． 机器视觉系统构建（2 学时/课堂教学+1 学时/实践+1 学时/讨论+1 学 时/咨询和特殊课程） 讲授机器视觉系统框架，利用 Opencv 或 Matlab 实现图像采集、处理与结 果显示。 16． 应用实例 1—视觉检测系统（2 学时/课堂教学+1 学时/实践+1 学时/ 讨论） 讲授几种视觉检测的应用实例，包括人脸检测，特定图码检测，家庭环境 下常见物体的检测与识别 17． 应用实例 2—机器人自定位与三维环境建模（2 学时/课堂教学+1 学 时/实践+1 学时/讨论） 以助行机器人与火星漫游机器人为实例，讲授自主移动机器人三维环境建 模方法；机器人自定位方法；针对室内与室外的不同环境展示环境建模与自定位 效果。 三、教学方法 本课程要求学生尽可能参加所有的课程并参加上课时的讨论。课外网上资料 检索，完成平时作业和综述报告。学习机器视觉系统搭建、算法的软件编程，实 验和完成项目形式大作业，最重要的是对团队的项目不断地作出实质性的贡献。 教学形式 1. 教师普通授课 2. 针对学生作业内容进行课堂演讲与讨论 3. 实习、作业和项目实践 学习形式 1. 学生PPT汇报讲演、程序演示 2. 课程项目，鼓励团队协作和课后讨论 3. 课外作业、综述报告 4. 最终项目汇报答辩 专业讲座 课程将至少设置三次讲座，包括如何从网路获取机器视觉的最新研究信息以 及通过公开的程序源代码开发机器视觉软件、如何选取硬件开发机器视觉系统以 及基于机器视觉的移动机器人导航。 课堂实践 课程总共设置了两次课堂实践，分别是“参观实验室了零距离接触基于机器 视觉的智能机器人演示”和“机器视觉软件编程实践”。通过这样的实践，能够 开拓学生的思路培养其动手能力。 小组作业 每个小组要搭建一个机器视觉系统、完成对物体的识别。该作业目的是让所 有学生用他们在课堂中学到的知识，通过团队合作来共同完成一个机器视觉系 统。要求搭建机器视觉系统能根据老师随机提供物体进行编程实现识别演示。 四、考核与评估 课程得分比例如下： 1 课堂出席 30% 2 平时作业 20% 3 小组作业 30% 4 课堂交流发言 20% 课堂出席 学生在课堂上的表现，包括出席、讨论、课堂练习和表现。课堂出席的得分， 将取决于课堂中学生的讨论，以及课堂作业等等。 我们将使用的评价课堂出席情况的一些准则： 1、参加者是否很好地倾听课程？ 2、参加者的表达是否简洁和明确？ 3、提出的要点是否与目前的讨论相关？他们的讨论与别人的是否联系在一 起？ 4、是否能表达出适当的意见，以及有见地的分析案例和提供清楚的论证？ 平时作业 平时作业分两次：一次为了帮助学生掌握机器视觉基础知识统一布置作业； 另一次教师根据课程进展为每一位学生布置作业，学生根据题意进行调研，写出 综述报告并且在课堂报告演讲。 小组作业 小组的作业的目的是通过做项目形式，巩固学到机器视觉知识，掌握机器视 觉应用技巧。作业是团队协作进行，必须于截止日期前提前完成。作业答辩之前 每个人对其他小组成员进行评估。评估结果供教师给项目小组每个学生的打分提 供参考。 五、教材及参考书目 教材：自编讲义 参考书目： 《机器视觉》张广军，科学出版社 《机器视觉》贾云得，科学出版社 Computer Vision: Algorithms and Applications, Richard Szeliski. Springer, New York, 2010(Free download from http://szeliski.org/Book/) Image Processing Toolbox for Use with MATLAB