基于MobileNet-V2眼镜虚拟试戴


    






    基MobileNetV2眼镜虚拟试戴




    Base on MobileNetV2 Virtual glasses to try








    着互联网断发展商品时选择变单实体店中购买网购买网购买商品成更选择虚拟试戴技术应运生社会全球视患者占全球口例达22中国视眼患病国视群例达47眼镜成拯救视患者方法基现状眼镜需求量巨根产品销售区域特性某区难实体店中购买心仪眼镜网购买眼镜受法试戴困扰造成认知偏差产生量退货情况运虚拟试戴技术极程度减户产品外观适配偏差虚拟试戴技术未互联网时代巨发展空间促进计算机视觉方面快速发展
    文特征点回基础通深度学神网络训练模型回产生脸双眼坐标计算双眼坐标倾斜角度根仿射变换图片旋转眼镜脸进行图片融合实现动态虚拟试戴

    关键词:特征点回眼镜虚拟试戴图片融合仿射变换


    Abstract
    With the continuous development of the Internet people's choice of commodities has become no longer single they can buy in physical stores or online Online shopping of various products has become the choice of more people and virtual trial technology emerges at the right moment In today's society the proportion of myopia patients in the world is up to 22 of the world's population China is a major country with myopia disease and the proportion of myopia people reaches 47Glasses has become one of the ways to save myopia patients The demand for glasses is huge According to the regional characteristics of product sales it is difficult for people in some areas to buy their favorite glasses in physical stores However when buying glasses online they are also troubled by the inability to try them on resulting in cognitive bias and a large number of returns The application of virtual tryon technology can greatly reduce the deviation of users on the appearance of the product Virtual tryon technology will have a huge development space in the future Internet era and will also promote the rapid development of computer vision
    Based on the regression of feature points the model is trained by deep learning neural network to return the coordinates of generating face and eyes The tilt Angle of binocular coordinates was calculated the image was rotated according to affine transformation and the image was fused with the face to realize dynamic virtual trial

    Key worlds Feature Regression Virtual glasses try on Image Fusion Affine Transformation




































    目录

    Abstract
    第1章 绪 1
    11 开发背景意义 1
    12 发展现状 2
    13 项目简介 4
    第2章 眼镜虚拟试戴开发工具技术简介 5
    21 开发工具介绍 5
    22 模型训练数处理 5
    23 眼镜虚拟试戴开发技术介绍 8
    231 卷积神网络介绍 8
    232 MobileNetV2网络介绍 12
    233 神网络模型训练 15
    234 仿射变换 18
    235 图融合 20
    第3章 需求分析 24
    31 功需求 24
    第4章 系统模块详细设计 25
    41 PyQt5事件处理机制 25
    42 界面设计 26
    43 图片传入试戴设计 27
    44 摄头接入试戴设计 30
    结 32
    参考文献 33
    致谢 34


    第1章 绪

    认识种事物时候总会意识认知中形象赋予描述事物种认知偏差会造成极影响解决种认知现实差距问题已成迫切务问题研究样适解决互联网购物认知矛盾十年互联网发展催生种电商台节约社会资源提供极便利互联网发展推动电商台断推出新手段吸引户虚拟试穿试戴定程度减认知偏差时减少必退换货等操作节省社会资源提升网络购物体验课题网络购物中眼镜外观偏差问题出发研究眼镜试戴开发技术实现

    11 开发背景意义
    第台计算机互联网诞生现100年时间里事情发生着翻天覆变化计算机发明者约翰·冯·诺曼会想现计算机做事情装进口袋里美国国防部会想原军事途互联网会全世界连通起切事情变化追求便捷购物体验时电商台出现早期网络购物台满足单纯购物需求目前止家电服饰鞋帽等网络销售模式已套成熟销售模式眼镜需测量度数网络台受限严重试戴技术广泛运时候顾客需提供配眼镜需参数网购买实体店实惠称心眼镜发展满足够清东西时意眼镜外观品牌材质等外表现繁眼镜产品中找合适款变越越困难电商台提供更丰富产品时增加消费者筛选满意产品时间成
    现行业进行着更新换代转型升级眼镜实体店服务片区域样营模式显然难互联网产业快速发展占先机眼镜行业需积极互联网结合实现线线渡目前电商台眼镜商家够满足户体验需求户追求快捷购物时够虚拟试戴体验眼镜真实佩戴效果顾客结合商家提供眼镜数试戴效果全方位解商品特性顾客身实体店般选购种销售模式愿眼镜实体店购买需求提供机会
    时避免网络销售模式造成量退货换货等操作浪费社会资源消耗双方时间成
    前虚拟穿戴研究服饰方面研究较眼镜试戴方面研究应较少试戴效果够动态化采较复杂技术导致处理时间长动化程度低需户较手动操作需投入量时间研究文研究动化动态高效虚拟试戴方法满足前消费者眼镜虚拟试戴需求
    前济全球化社会着万物互联方发展网络购物提供全新购物模式社会总前进走发展前端引领总会奖励互联网+X总焕发出惊量业者提供创新竞争必条件根面描述眼镜虚拟试戴背景应价值意义详细分析出现眼镜虚拟试戴投入未巨收益价值予回馈

    12 发展现状
    互联网技术飞速发展家购物意愿愈愈强烈逐渐惯利空闲完成购物针视口日俱增现状结合眼镜需求满足解决视力问题困扰互联网发展眼镜虚拟试戴技术发展巨发展契机眼镜虚拟试戴技术研究硕果累累面眼镜虚拟试戴技术研究现状作讲述
    眼镜虚拟试戴中涉眼检测技术领域广泛运脸识AI换脸商业支付机交互访问控制视频控制特效生成智机器等领域历十年科学研究现已出现非常眼检测办法
    眼定位运非常广泛眼镜虚拟试戴外支付安全安全驾驶面部表情分析等方面广泛应支付安全方面求采集户面部信息包括面部轮廓信息眨眼动作眼定位初应支付安全时仅面部轮廓信息容易造成通片骗机器眨眼动作定程度降低风险片静态系统提示眨眼做出眨眼动作机器检测眼镜没进行眨眼动作允许通
    现相机App会检测面部表情功作类众生物特征眼睛口鼻嘴巴耳朵位置关系包含丰富信息喜怒哀乐会通眼睛面部器官位置变化显现出愤怒喜悦情绪化外表现表情进行刑事案件审理时犯罪嫌疑肢体动作面部表情会隐藏着量信息捕捉犯罪嫌疑细微面部表情眨眼频率案件审理会巨帮助
    眼定位电子商务方面发展趋眼睛虚拟试戴方面线眼镜销售提供支撑互联网+时代消费者通网商城够时浏览商品眼镜种时需实体店购买商品投放网商城销售积极拥抱互联网结果眼镜虚拟试戴研究提供助力改变传统眼镜销售模式户体验模式
    模板匹配眼定位方法眼灰度信息定位统计信息定位灰度图方法图进行二值化操作连通区域凸显五官特征轮廓设置阈值判定选特征选物体外区域排
    搜索连通区域

    眼睛区域
    连通区域提取
    二值化
    原始




    图11模板匹配
    基灰度投影函数积分投影函数(Integral Projection FunctionsIPF)孟春宁提出种基尺度变梯度积分投影函数眼分割方法该方法充分考虑眼区域图局部灰度变化丰富特点继承投影方法计算量优点[1]积分投影函数先灰度化处理原始图然灰度图进行垂直者水方灰度值积分分析投影积分结果想图特征
    深度学方法提取特征属统计类方法利量包含非眼包含眼图神网络进行训练学学模型运学模型构建分类器目标检测基深度学方法训练模型分类项目准确率非常高卷积神网络(Convolutional Neural Networks CNN)深度学代表算法进行监督学非监督学二十世纪着计算机发展深度学理提出卷积神网络取巨进步广泛运然语言处理计算机视觉方面高法灯采基Haar特征AdaBoost级联分类器算法进行脸检测检测出脸基础通模板匹配方法脸区域定位眼检测眼状态[2]胡峰松等提出种基特征检测视角眼镜试戴算法采级联分类器检测方式检测出眼位置备选区域约束条件选出眼正确位置[3]Schapire提出初AdaBoost算法强弱两种学算法等价性出答案[4]黄亨利等利OpenCV中集成Haarlike特征AdaBoost算法脸检测技术检测出脸位置然根三庭五眼理集合特征知识完成眼定位眼镜脸融合实现虚拟试戴目抗遮挡表情变化较效果[5]刘成汪丰等采单目摄头(Charge Coupled DeviceCCD)捕捉图提出种踪标识物脸特征完成眼镜模型脸叠加试戴方法[6]张景森提出种基MCT(Modified Census Transform)变换HIK SVM分类器脸检测方法采Haar特征训练SVM线性分类器作粗检测通训练基MCTHIK SVM作细分类器粗检测提取结果确认该方法具良抗光干扰性[7]Mean Shift算法分割聚类图滑等方面应范围广石华伟夏利民提出种基Mean Shift算法粒子滤波器眼踪算法[8]SVM算法Vapnik等研究发展长久发展目前SVM算法[9]Pan G等采正方形扫描窗口眼睛眉毛作整体象样做减少眉毛干扰[10]Qiong Wang等提出种脸部背景图中检测眼睛方法[11]Viola等采AdaBoost方法选取脸类Haar特征结构构建脸检测器[12]Juan Li等提出种基Poisson方程眼镜虚拟试戴方法总结种结合改进动形状模型特征提取算法图合成算法指定顾客图进行眼睛虚拟试戴[13]WanYu Huang等提出种基计算机视觉虚拟眼镜试戴系统通电脑摄头脸图传入系统户观虚拟试戴眼镜效果[14]

    13 项目简介

    文基MobileNetV2神网络眼镜试戴进行研究涉眼特征点回(基深度学眼定位)改善眼镜虚拟试戴动化动态化效果文组织结构:
    第1章阐述眼镜虚拟试戴意义研究背景发展前景研究现状进行总结介绍文研究容进行概述
    第2章详述眼镜虚拟试戴开发工具开发技术基原理详细介绍MobileNetV2模型模型训练图片融合仿射变换等相关技术
    第3章分析眼镜虚拟试戴功特点功需求进行分析
    第4章眼镜虚拟试戴功模块描述模块功详细设计
    文做容工作进行总结指出接研究容



    第2章 眼镜虚拟试戴开发工具技术简介

    关眼睛虚拟试戴研究中图处理特征点检测紧密结合容间相互独立间非常联系间关联形成基原理章眼睛虚拟试戴开发工具技术作详细分析阐述文阐述眼睛虚拟试戴开发技术包括眼位置定位眼镜融合两部分中包括MobileNetV2神网络复现解读回模型训练图片融合PyQt5功封装编码

    21 开发工具介绍
    开发语言:Python 3
    集成开发环境:PyCharm Community
    TensorflowGPU版:190

    22 模型训练数处理
    训练数集采Caltech_WebFaces数集该数集包含7092张脸图份脸特征点标记文文件(文中包含10524条数部分图片中单单标记物特征点坐标)该份脸特征点标记文件容包含应图片名称左眼右眼鼻子嘴二维坐标

    图21数集说明文件
    图片原始数里图片尺寸相续工作中需转换相尺寸图片224*224


    图22原始数图
    脸特征点标记原始数处特征点坐标数类型浮点型时里未坐标应图片缩放例尺寸转换


    图23眼原始坐标
    查原始特征点标记数否缺失里原始特征点坐标数10524维中真实会数维度7092维特征点坐标数没缺失

    图24数完整度展示
    原始特征点坐标原始图片标记效果展示:

    图25原始数标点展示
    述结果出特征维度数保持完整度需处理特征点数数量缩减7092(图片数量)维里处理方法重保留相图片名称第条数针MobileNetV2神网络训练数求输入图片需处理成224*224坐标点需根应图片缩放例转换成整数原始坐标数(x y)图片里需特征点标记文件进行预处理处理效果


    图26处理完成坐标数
    特征点数坐标分布情况出四特征数坐标呈簇分布存特征点相特征点固定位置分布换句话说图片中脸位置固定位置相分布图片中位置样数分布训练神网络适合增强模型泛化力

    图27数分布
    训练图片数处理通补齐宽高中短者图片尺寸变成宽高相等正方形补充边框色调黑色时通OpenCV中resize()模块正方形图片缩放224*224方法效避免图片resize()模块时发生较形变

    图28图片尺寸转换
    修正结果示原图片尺寸252*180通黑边补齐高度宽高相等宽高相等训练图片

    图29图片缩放展示
    23 眼镜虚拟试戴开发技术介绍
    整项目开发流程MobileNetV2神网络训练出回眼关键点坐标位置神网络模型二眼镜图片脸图片融合三实时视频试戴保证视频输出流畅度四逻辑代码PyQt5封装成操作界面
    231 卷积神网络介绍
    解MobileNetV2前需先解卷积神网络(Convolutional Neural NetworksCNN)卷积神网络Yann LeCun提出第利卷积神网络解决MINIST手写数集问题卷积神网络属层级网络架构传统神网络相似层采全连接层进行输出卷积神网络输入层(Input Layer)卷积层(Conv Layer)ReLU激活函数(ReLU Layer)池化层(Pooling Layer)全连接层(Fully Connected Layer)组成输入层做工作输入原始图数进行预处理均值化降维等化特征范围某例转换指定区间01范围降维某种映射方式原始数映射维度达筛选特征目数模型训练中特征数会模型复杂度升高导致模型泛化力差降维处数维度降计算方面节省资源提高模型泛化力鲁棒性(系统抵抗防御异常危险情况力)特征间线性优化模型降低模型复杂度
    卷积层卷积神网络中非常重层深度输入图深度(通道数RGB)卷积核进行特征提取卷积核尺寸通常3*3者5*5卷积程卷积核规定步长(stride)图滑动输入图卷积核重合位置元素先相求进行矩阵积运算然加偏置值b(Bias)输出特征矩阵元素例图两卷积核w0w1蓝色矩阵输入图粉色矩阵卷积核输出矩阵标出1计算程:12+1+11图中蓝色矩阵外圈灰色框(值0)称填充值填充值出现卷积核尺寸输入图尺寸卷积核滑动步长间关系图中输入图尺寸5*5卷积核尺寸3*3卷积核滑动步长2跳两格完成滑动卷积核完成第次积运算滑动两格会出现卷积核右侧列没应数值需原先矩阵进行边界填充填充值卷积会产生影响完成卷积程产生3*3*1特征图

    图210卷积运算
    关输出特征图尺寸计算述程涉超参数卷积核数(k)卷积核(f)步长(s)边界填充(p)输入图尺寸数宽(w1)高(h1)通道数(d1)确定参数便计算输出特征图:输出特征图宽(w2)(w1 – f + 2p) s + 1高(h2)(h2 – f + 2p) s + 1深度(d2) k卷积层中参数享机制卷积核输入图矩阵进行卷积运算时候卷积核参数整张图享单卷积核关注图特性样参数数减少
    激活函数(activation function)作实卷积层输出结果做次非线性映射没激活函数作神网络层输出线性(方程y w*x +b)法拟合非线性数激活函数解决线性分问题神元中输入数进行加权求值输入函数中函数激活函数

    图211神元中激活函数
    部分卷积神网络中激活函数ReLU函数公式y max(0x)求导y 0 x≤0x x>0ReLU函数相较激活函数SGD中够快速收敛ReLU函数网络提供稀疏性保留数特征数元素0稀疏矩阵表示ReLU函数较脆弱训练时x<0时反传播会产生神元死亡权重法更新
    池化层(Pooling Layer)压缩数量减拟合池化层处卷积层图输入数池化层工作特征图进行压缩降低卷积层输出特征量消冗余信息提取特征

    图212池化层工作原理
    池化层方法Max Pooling卷积层类似样卷积核指定步长输入特征图滑动划区域寻找值提取压缩新特征图图中矩阵左角四元素6区域提取6类推3数值组成新特征图

    图213 Max Pooling
    全连接层(Fully Connected Layer)前层网络提取特征全连接层起分类作核心操作矩阵量积y W * x全连接层程度减特征处位置分类结果影响部分全连接层两层更解决非线性问题全连接层忽略空间特征空间位置分割图案适图两张图卷积结果致空间位置素忽视

    图214全连接层空间敏感度
    全连接层前提取特征整合进行分类务判断什物体

    图215全连接层输出

    232 MobileNetV2网络介绍
    文中回预测眼坐标位置模型训练架构采MobileNetV2神网络该网络种轻量型神网络2018年谷歌公司提出相较型神网络言具参数少结构轻量化等明显优势MobileNetV2语义分割目标检测分类方面错表现MobileNetV2网络相MobileNetV1网络模型更准确率更高参数方面MobileNetV1减少30左右速度快30左右MobileNetV2适移动端设备神网络手机嵌入式设备MobileNetV1发布改变神网络参数运算耗费资源问题降低少许精度时减少量参数减模型体量MobileNetV1相较常规卷积神网络提出深度分离卷积(depthwise separable convolution)参数量方面MobileNetV1深度分离卷积减少参数量样型网络提高移动设备灵活性提升户体验眼镜虚拟试戴广阔应场景移动端轻量型网络训练硬件设备足支持型网络训练够进行实验
    MobileNetV2中继承MobileNetV1中引入深度分离卷积(Depthwise Separable Convolution)深度分离卷积传统卷积运算分成Depthwise Conv(DW卷积)Pointwise Conv(PW卷积)两部分进行传统卷积程中卷积核深度输入特征矩阵深度致输出特征矩阵深度卷积核数相DW卷积中卷积核深度1输入特征矩阵深度卷积核数输出特征矩阵深度相等DW卷积中卷积核负责输入特征矩阵channel传统卷积

    图216普通卷积


    图217 DW卷积

    PW卷积实质普通卷积致卷积核深度输入特征矩阵深度输出特征矩阵致卷积核深度1普通卷积

    图218 PW卷积
    普通卷积深度分离卷积参数数量DF(输入特征矩阵高宽)DK(卷积核)M(输入特征矩阵深度)N(输出特征矩阵深度)普通卷积参数计算公式:DK∙DK∙M∙N∙DF∙DF深度分离卷积核参数计算公式:DK∙DK∙M∙DF∙DF+M∙N∙DF∙DF深度分离卷积参数量传统卷积参数量值1N+1DK2 1N+19(传统卷积核深度DK般3)粗略推算传统卷积参数量深度分离卷积参数量89倍
    MobileNetV2提出两创新点:Inverted Residuals(倒残差)Linear Bottlenecks(线性瓶颈)倒残差结构中特征矩阵处理首先采1*1卷积核进行升维然利3*3DW卷积核进行卷积1*1PW卷积进行降维操作呈现低维高维低维结构

    图219倒残差结构
    倒残差结构中激活函数relu6原relu激活函数0值加限制0部分正穷Relu60部分进行处理值6避免输入值激活造成模型稳定影响

    图220 relu6函数代码
    Relu6表达式relu6(x) min(max(x 0) 6)函数图:

    图221 Relu6
    倒残差结构中层1*1PW卷积线性激活函数维度矩阵T输入矩阵进行升维然relu激活函数输出矩阵T逆矩阵输出矩阵原回输入矩阵维度会发现低维信息损失严重高维数损失较倒残差结构层线性激活函数代线性激活函数防止非线性素丢失太信息

    233 神网络模型训练
    模型训练中kerasApplications包中导入MobileNetV2神网络模型获取模型中间层输出增加全连接层数量进行线性输出涉调整损失函数选择全连接层数量
    文损失函数选择测试MSE(Mean Squared Error均方误差)MAE(Mean Absolute Error均绝误差)
    均方误差称L2损失回模型中常种损失函数质真实值预测值差值方均值计算batch中预测值真实值差值方均值着误差减梯度减便收敛表达式定义:
    MSE(yy`) i1n(yi−yi`)2n
    均方误差损失预测值间函数图:

    图222 MSE损失预测值关系
    图中真实值100预测值范围[10000 10000]损失范围[0 +∞]出预测值偏离真实值MSE损失非常迅猛方运算导致真实值预测值相差1时损失较两者差值1时会较损失异常值会予较高权重MSE容易受异常值影响牺牲正常值数进影响整模型性
    MAE(Mean Absolute Error均绝误差)称L1损失样回模型中常损失函数实质真实值预测值差值绝值均值定义:
    MAE i1n|yi−yi`|n
    MAE学率部分时候固定梯度较适合模型学函数收敛相固定学率会引起梯度爆炸

    图223 MAE损失
    知处理异常值时候MAE稳定性更学率相固定利模型学收敛MSE异常值敏感会予异常值较高权重影响模型性MAEMSE两者谁更适合文继续探讨
    两损失函数batch size(批次训练样)epochs(训练次数)学率相全连接层数目模型训练结果

    图224 MAE损失函数训练展示
    述中两者测试集误差训练集误差降总趋势致4层全连接层测试误差前期降明显先行趋稳定三层全连接层降程中较缓慢实际数中全连接层数3时测试误差训练误差4层全连接层差距较述缩训练次数情况增加全连接层数目效果
    针损失函数改变模型性影响采MAEMSE进行Batch sizeepochs相情况进行相较MAE测试损失训练损失较

    图225 MSE损失函数训练展示

    文训练模型选取中模型试戴效果进行展示图226图227示

    图226 MSE损失函数模型效果展示


    图227 MAE损失函数模型效果展示
    述光条件相情况较发现屏幕中央部位两模型试戴效果接左侧试戴效果中MAE略胜MSE筹右侧效果样MAE表现较
    针图224左侧4层全连接层MAE损失函数模型进行试戴测试图228示

    图228 全连接层数4

    图230 训练测试数损失
    根试戴效果知全连接层数外条件致数训练测试数epochs减半情况达次数20水展示结果意全连接层数目会影响模型性显然4层全连接层模型效果意
    综合述展示结果较选定全连接层数目3epochs20batch size14损失函数MAE模型
    234 仿射变换
    仿射变换指中量空间进行次线性变换接移变换量空间仿射变换二维坐标二维坐标线性变换保持二维图片行性直性仿射变换通系列变换复合实现中包括缩放(scaling)移(translation)反射(reflection)旋转(rotation)剪切(shear)移变换旋转变换两者组合称欧式变换(Euclidean transformation)般图RGB三通道组成图质言数字组成矩阵进行图旋转移等处理时处理时实质矩阵容元素进行矩阵变换操作
    集合X仿射变换表达式:
    fxAx+bx ∈X
    移量0者没进行移仿射变换变换矩阵表示x'y'变换完成坐标xy变换前坐标abcd变换矩阵目原始坐标变换成x'y'二维图变换中般表达:
    x'y' abcd xy
    排移变换仿射变换线性变换引入齐次坐标3*3矩阵M表示类变换增广里行(001)样涵盖移变换示例
    x'y'1 abcdef001 xy1
    仿射变换相应abcd会约束:
    (1)缩放变换原始坐标坐标缩(扩)ty倍横坐标缩(扩)tx倍原二维坐标变三维坐标时变换矩阵M呈现:
    10tx01ty001
    (2)旋转变换目标图(xy)中心时针旋转α弧度转换矩阵M表示
    M 10−x0−−y001 cosα−sinα0sinαcosα0001 10x01y001
    M cosα−sinαx−x∙cosα+y∙sinαsinαcosαy−x∙sinα+y∙cosα001
    变换矩阵记住点:坐标系变化原点基量变化坐标系中点会着坐标系变化着做样变化
    放射矩阵abcdef001中adbe新基量cf新坐标系原点
    实际中OpenCV中仿射变换进行旋转变换计算变换矩阵操作时OpenCV 中cv2getRotationMatrix2D(center angle scale)计算中提供需旋转图中心点坐标(center)旋转角度(angle)正值时逆时针旋转负值时时针旋转缩放子(scale)缩放例进行图旋转时cv2warpAffine(Image M (nW nH) borderValue)里需提供原始图(Image)旋转矩阵M新图宽高(nWnH)borderValue旋转造成缺失容填充默认值(000)黑色处更改白色OpenCV具体实现代码

    图231图旋转代码
    235 图融合
    眼睛虚拟试戴实现程中眼镜脸融合非常值研究技术问题常见图重叠操作三种图重叠二图融合三位操作
    图叠加属加法操作会造成图片颜色改变前面节提图RGB三通道数组成矩阵两张图片间叠加质两矩阵进行加法操作图片叠加numpy中矩阵加法实现矩阵加法饱操作会结果取模cv2add()两图叠加加法操作饱操作限值cv2add()保证两图类型必须致者第二图标量cv2add()操作效果色彩失真明显

    图232 cv2add()融合效果
    位操作种形式:ANDORNOTXOR等需提取部分图ROI(兴趣区域region of interest)区域非矩形时述操作会非常效方法缺点法二维坐标进行精确粘贴进行位操作前需粘贴图片进行二值化(制作黑白掩膜)反色黑白掩膜图素点灰度值设置255者0整张图片轮廓黑白两色呈现OpenCV进行涉操作示例效果

    图233黑白掩膜反色黑白掩膜
    反色黑白掩膜粘贴图进行运算原图片黑白掩膜进行运算图粘贴图进行运算效果

    图234位操作融合效果
    图融合质种加法操作处理完成图片呈现细节会OpenCV中cv2addWeighted图片融合两张图片例混合起两张图片新图片权重新图片呈现提供种样选择OpenCVcv2addWeighted模块时旧法二维坐标点两张图进行精确融合

    图235 addWeighted融合效果
    泊松融合Patrick PérezMichel GangnetAndrew Blake等Poisson Image Editing文中提出次眼睛虚拟试戴图片融合技术实际实现会OpenCV中seamlessClone模块泊松融合够做缝融合融合边界中底图目标图差异滑扩散融合图中融合底图目标图够缝连接中色调等底图致
    关泊松重建实质求解方程组求系数矩阵A散度b便解融合图素通道值x:
    Axb
    泊松融合做工作描述现图g(克隆区域ROI)背景图S希克隆区域(图片g)粘贴融合背景图S中保证两者融合渡边界呈现然效果

    图236泊松融合示意图
    算法做具体步骤:首先求出图g梯度场VSxSy两卷积核计算xy方导数值分图g进行卷积∂f∂y Sy U f运算值组合起图梯度量∇f∂f∂x∂f∂y 素点梯度量组合便图梯度场理求背景图S梯度场两张图梯度场求解完成直接图g梯度场换背景图S梯度场述步骤求解背景图梯度场时感兴趣区域(ROI)梯度场重合位置梯度场需求解Ω区域减少运算量

    图237 Ω区域
    融合图梯度场开始求解融合图散度述计算中已融合图素点梯度值组合便重建图梯度场梯度求偏导融合图散度求系数A求A逆矩阵便求x(融合图素三通道值)文OpenCV中缝克隆(cv2seamlessClone)中克隆类型选择混合克隆(MIXED_CLONE)需提供融合图背景图遮罩融合位置坐标融合类型

    MIXED_CLONE融合效果示:

    图238融合效果
    NORMAL_CLONE融合效果示:

    图239普通克隆效果
    普通克隆遮罩背景图融合效果细节方面未达预期基效果选择混合克隆明智选择






    第3章 需求分析
    31 功需求
    眼睛虚拟试戴开发目初始目标户线选购眼镜提供定程度帮助常户购买眼镜行户注重三方面眼镜度数否眼镜度数否适合二眼镜外观否搭配三镜片镜框材质述关注点中眼镜度数需提供医院测量数材质方面通商品详情获悉眼镜外观否搭配难确定素眼睛虚拟试戴提供户动静两种试戴功体验种基图试戴外种基视频实时试戴试戴程中户会需清已添加眼镜更换眼镜清屏功原原始屏幕户试戴满意试戴效果果处图片试戴状态皆保存功保存试戴片眼镜试戴效果呈现视频实时试戴较令满意户处视频实时试戴时进行截取视频前帧保存截取满意返回重新截取



















    第4章 系统模块详细设计

    41 PyQt5事件处理机制
    PyQt5中开发者提供两种事件处理机制种事件外种信号(signal)槽(slot)事件始终行程整程中三参者分:事件源事件目标事件象事件源指行发起者发生改变状态象事件目标事件通知象事件象封装事件源状态变化
    PyQt5中采信号槽机制处理时间事件中象间通信采信号槽进行传输指定事件发生传递事件信息信号会发射应连接槽信号会发射槽会调执行相关容信号槽间种特性连接信号信号信号间彼连接信号参数类型应Python参数类型槽信号通信方式异步连接步连接等
    事件源

    槽1


    触发生成

    槽2


    信号1




    信号2

    发射信号

    事件目标
    连接


    图41信号通信图
    PyQt5中信号分两类:定义信号置信号置信号指QObject象定义信号置槽函数QObject象定义槽函数种高级信号槽定义指开发者根身需求考量定义信号槽定义信号槽步骤般:1定义信号2定义槽函数3连接槽函数信号4发射信号定义信号通pyqtSignal()参数类型定义参数槽函数定义方法定义类似信号槽connect方法连接例selfch_imgimg_signalconnect(selfopen_img)发射信号emit()方法参数类型信号参数类型保持致信号槽工作流程
    槽函数
    发送者



    信号 调
    接收者
    连接


    接收

    图42信号槽工作流程图
    42 界面设计
    眼镜虚拟试戴界面PyQt5搭建设计布局分三部分界面左侧排列眼镜图案眼镜选择钮户开摄头者已开图片情况想佩戴眼镜点击应钮佩戴应眼镜更换直接点击应眼镜界面中心白色正方形(screen)部分显示屏显示图片视频界面方横排列钮功性钮次清屏选择图片拍保存图片开相机户钮实现相关容操作

    图43界面UI
    左侧眼镜缩略图设计QToolButton继承QAbstractButton般显示图标显示文字QPushButton点setGeometry()设置钮位置setIcon()setIconSize()设置显示图片图片显示

    图44眼镜图片设置
    显示图实时视频控件QLabel标签该标签具种功作占位符显示文显示图片播放视频GIF动图等处QLabel标签显示作设置文容背景色调白色突出界面位置占例

    图45 QLabel标签设置
    界面方功操作钮QPushButton钮样继承QAbstractButton中Clicked信号槽函数进行通信完成槽函数调

    图46片保存
    整体界面设计容

    43 图片传入试戴设计
    图片传入试戴户方面操作流程:点击选择片开文件夹选定图片→等图片白色矩形区域显示→点击左侧眼镜缩略图钮→佩戴成功


    图47图片试戴操作流程
    开发逻辑设计分步骤:图片显示→眼特征点回模型启动眼坐标→计算两眼倾斜角度→旋转眼镜→融合眼镜脸→显示
    整试戴程中重眼特征点回逻辑代码中眼特征点回封装Regression_Point()方法中图片试戴实时视频试戴中调调前会判断处图片试戴状态实时视频试戴状态图片进行眼特征点回前需传入图进行尺寸变换调前讲述resize_image()方法适应模型求224*224宽高例模型回4坐标组成列表分左眼右眼鼻子嘴唇4坐标基224*224基础坐标数值进行眼镜试戴需坐标转换原始图尺寸数值X轴坐标224原始图宽值Y轴坐标224原始图高值应原始图坐标

    图48眼位置处理代码
    回眼坐标途两计算两眼倾斜角度二获取两眼中心点坐标计算两眼倾斜角度前计算两眼坐标X轴Y轴方距离X2−X1Y2−Y1math模块中atan()计算弧度math模块中degrees弧度转换角度计算两眼中心点坐标M(X2−X12 Y2−Y12 )较简单里需计算两眼距离步眼镜缩放做准备

    (X2Y2)
    中心点坐标M(X2−X12 Y2−Y12 )
    (X1Y1) α
    图49双眼中心位置
    眼镜试戴编码采线程编程避免功切换时出现界面卡死现象线程写MyThread()类中需进行某项功操作时开启该线程

    图410线程类代码

    图411线程开启
    试戴程中点击界面眼镜钮开启应线程执行佩戴务里开启线程处理务户开片应眼镜进行旋转融合显示控件screen融合方法时控制眼镜尺寸代码眼镜原始图1417*1417QLabel(screen)尺寸640*480眼镜图片需缩里缩例确定会需知道两眼间距离
    distance (x2− X1)2+(Y2− Y1)2根眼镜图片尺寸眼距离distance关系里眼镜图片尺寸缩distance2倍缩眼镜图传入rotate()中执行仿射变换传入mix()方法中进行泊松融合返回融合图

    图412图旋转代码

    图413图融合代码
    返回融合图直接显示QLabel控件(screen)(OpenCV读取图时格式BGR格式QLabel显示图格式符合)需返回图进行类型转换原BGR格式图转换RGB格式转换成QLabel显示格式返回QtImg终显示图

    图414图类型转换

    44 摄头接入试戴设计
    实时视频试戴设计涉摄头读取视频抓取固定时间间隔帧显示图仿射变换泊松融合拍保存
    摄头开启采定时器控制样摄头开启关闭流畅基摄头开展试戴务更方便摄头正常开启参数CAM_NUM初始化0开启成功开始30毫秒间隔捕捉视频帧显示时开放拍钮原文容开相机更改关闭相机

    图415定时器代码
    实时视频试戴实现中方便更换试戴眼镜代码设计副眼镜设计中心初始化眼镜参数(GlaNum)0没佩戴眼镜需试戴眼镜时点击应眼镜钮连接发送信号连接应槽函数眼镜参数赋值应数值

    图416眼镜参数设置
    实时视频试戴实捉取帧图进行特征点回等系列图试戴操作返回帧图播放抓取图需图进行水翻转达镜效果

    图417镜反转图
    模拟真实场景钮变化做改变开摄头状态接触拍钮禁点击拍钮更改QPushButton钮文容返回时保存片钮解禁户选择返回重拍者进行步操作保存图片

    图418实时视频试戴效果



    互联网时代万物便捷制胜法线实体店线台节约时间资源断寻求进步外装扮认知越越清晰线台满足户需求极力寻求解决办法需求日益高涨引起计算机视觉领域关注基计算机视觉试穿试戴应运生眼镜试戴便中文针眼镜虚拟试戴进行研究家试戴眼镜
    1 文工作重点总结
    介绍眼镜虚拟试戴意义研究背景研究现状分析文眼睛虚拟试戴技术原理卷积神网络MobileNetV2神网络进行详细讲解眼镜试戴中需仿射变换图融合等处理技术进行分析模型训练中参数调整隐含层调整变化模型精度影响具体实现程中深度学模型眼关键点进行回预测眼镜图进行仿射变换眼位置融合PyQt5进行封装时线程编码防止界面程中卡死
    2 续工作展
    模型幅度倾斜脸佩戴效果需丰富训练数样性试戴环境干扰需增强模型泛化力提高关键点检测速度提高检测速度实时试戴中发挥更强作



















    参考文献

    [1] 孟春宁眼检测踪方法应研究[D]2013
    [2] 高法灯基图机车司机疲劳检测系统研究[D]浙江学2010
    [3] 胡峰松宋先普钱飞帆 种视角眼镜试戴算法研究实现[J] 型微型计算机系统20170338(3)605609
    [4] Schapire R EThe strength of weak learnability[J] Machine learning 19905(2)197227
    [5] 黄亨利梁艳陈靖宇刘文双种基脸检测虚拟眼镜试戴技术[J]信息通道2017062017(6)6366
    [6] 刘成汪丰祁长红倪舟姜伟邹亚王丽根种基增强现实虚拟眼镜试戴方法[J]工业控制计算机2014122014(12)6668
    [7] 张景森基视觉虚拟眼镜试戴系统开发[D]杭州:杭州科技学201503
    [8] 石华伟夏利民基Mean Shift算法粒子滤波器眼踪[J]计算机工程应20062006(19)4547
    [9] Vapnik V N An overview of statical learning theory[J]Neural Networks IEEE Transaction on1999101999(10)988999
    [10] Pan G Lin W Wu Z et al Eye detection system based on SVM filter[J] Photonics Asin Internation Society for Optics and Photonics 2002 326331
    [11] Wang Q Yang J Eye detection in facial images with unconstrained background[J] Journal of Pattern Recognition Research20061 2006(1) 5562
    [12] ViolaPJones MRapid object detection using a boosted cased of simple features[J]In:Computer Vision and Pattern RecognitionProceedings of the 2001 IEEE Computer Society Conference on IEEE 2001 2001(1) 511518
    [13] Li J Yang J Eyeglasses tryon based on improved Poisson equations[J] In Multimedia Technoloogy (ICMT) International Conference on IEEE 2011 30583061
    [14] Huang W Y Hsieh C H Yeh J S Visionbased virtual eyeglasses fitting system[J] In Consumeer Electionics (ISCE) IEEE 17th International Symposium on IEEE 2013 4546




    文档香网(httpswwwxiangdangnet)户传

    《香当网》用户分享的内容,不代表《香当网》观点或立场,请自行判断内容的真实性和可靠性!
    该内容是文档的文本内容,更好的格式请下载文档

    下载文档到电脑,查找使用更方便

    文档的实际排版效果,会与网站的显示效果略有不同!!

    需要 120 香币 [ 分享文档获得香币 ]

    下载文档

    相关文档

    基于差动变压器的虚拟位移计设计课程设计

     XX大学课 程 设 计(论文)基于差动变压器的虚拟位移计设计班 级 学 号 学 生 姓 名 ...

    2年前   
    585    0

    基于VRTK的虚拟仿真乒乓球运动项目的设计与实现

    随着5G的到来和VR技术的改革,各类的VR产品涌入人们的视野当中,其中包括众多的体育类虚拟仿真项目,在人们因为天气的问题而不能出外运动或者周边没有运动设施的时候就会感到懊恼。

    3年前   
    728    0

    基于LabVIEW的虚拟频谱仪的设计与实现毕业论文

    本科毕业论文(设计)题 目 基于LabVIEW的虚拟频谱仪的设计与实现 指导老师 职称 学生姓名 学号 ...

    4年前   
    758    0

    眼镜行业离职信

    眼镜行业离职信  尊敬的陈总:  我很遗憾自己在这个时候向公司正式提出辞职。   自从XX年4月入职以来,我一直都很享受明视这份工作。转眼3年多过去了,正是在这里我完成了自己从一个男孩到男人的...

    12年前   
    516    0

    眼镜店春联

    眼镜店春联  眼镜店春联      秋毫明察      胸中存灼见      日月重光      眼底耕秋毫    悬将小日月      春风常识面    照彻大乾坤      秋水惯传神好句...

    11年前   
    801    0

    眼镜管理手册

    质量管理手册依据?验配眼镜产品生产许可证实施细那么? 控制状态:受控编 制:林章雷批 准:林章雷文件编号: 001 ...

    2年前   
    423    0

    眼镜店实习总结

    眼镜店实习总结  实习是一项综合性的、社会性的活动,是一个由学校向社会接轨的环节,是学校学习向社会工作转型的一大模块。搞好社会实习工作是很关键的,对一个学生来说是很重要的,从一个学生的成长过程...

    10年前   
    403    0

    虚拟项目管理- 虚拟项目团队问题的解决

    虚拟项目管理: 虚拟项目团队问题的解决  在《虚拟项目管理:虚拟项目团队存在的问题》一文中,笔者指出了虚拟项目团队这种组织形式所存在的一些问题,这些问题可以说是与虚拟形式形影相随的。也就是说,...

    11年前   
    511    0

    虚拟项目管理:虚拟项目团队的组织形式

    虚拟项目管理:虚拟项目团队的组织形式在《虚拟项目管理:虚拟项目的特征》中,笔者简单地介绍了虚拟项目的概念和特征。我们知道,虚拟项目事实上是一个实实在在的项目,只不过参加项目开发的人员或部门分布...

    10年前   
    554    0

    虚拟现实技术论文

     2014-2015学年第1学期期末考试 论 文 考试科目: 虚拟现实技术 学 院:专 业: 班 级:班内序号:学 号:姓 名:手 机:任课教师: ...

    3年前   
    994    0

    构建你的虚拟团队

    构建你的虚拟团队想象一下这样的一个情景:你的纽约旅行社公司与几个电信运营商合作升级一套新的在线预订系统。应用程序提供商位于加利福尼亚州,与你建立业务联系的酒店和航空公司合作伙伴遍及全球。你在整...

    11年前   
    466    0

    如何构建你的虚拟团队?

    如何构建你的虚拟团队?团队运作协议(team operating agreement)可以避免团体陷入困境,因为它清晰地描述了组织预期团队成员与他们自己工作的关系以及他们对团队的责任,这种稳定...

    11年前   
    545    0

    虚拟语气的用法

    虚拟语气用法及动词形式从句主句与现在事实相反If+主语+did(be动词were)WCMS主语+should/would/could/might+do与过去事实相反If+主语+had done...

    12年前   
    800    0

    虚拟股协议

    甲方:xxxx公司   乙方:   鉴于乙方以往对甲方的贡献和为了激励乙方更好的工作,也为了使甲、乙双方进一步提高经济效益,经双方友好协商,双方同意甲方以虚拟股的方式对乙方的工作进行奖...

    9年前   
    6628    0

    服务器虚拟化

    服务器虚拟化 1. 提高服务器电脑的效率       虚拟化可以让一台电脑干多台电脑的事。以一个学校为例,随着学校规模的扩大和时代的发展需求。不可避免会增加新的运用比如:教务管理,设备管理...

    12年前   
    12533    0

    小议虚拟团队的管理

    小议虚拟团队的管理  购买了福特汽车的顾客不会了解是一个虚拟设计工作室在负责福特汽车的款式设计,它通过电子手段将世界各地的设计人员组合在一起。这些人员实际上分属福特的7个设计中心。越来越多的航...

    11年前   
    533    0

    参加上海眼镜展会心得报告

    参加上海眼镜展会心得报告   2月26日至28日,上海眼镜展会三天,汇聚了来自国内外的几百家展商,给我最大的感受就是不简单,通过这次展会我对眼镜行业有了初步的了解,从镜片、镜架、镜盒镜布、验...

    10年前   
    10343    0

    在眼镜商会会员大会上的讲话

      在眼镜商会会员大会上的讲话   尊敬的会员同志们,大家好!     很有幸受邀参加眼镜商会年终会员大会,%%%%%眼镜起源于二十世纪六十年代末期,经过四十年的发展、整合,现已形成了...

    7年前   
    4397    0

    《天才眼镜狗》观后感

    《天才眼镜狗》观后感第一篇:天才眼镜狗观后感天才眼镜狗观后感星期五春游,我们去电影院看了电影《天才眼镜狗》。世界上最有成就的狗皮博迪先生发明了许多东西,其中有一台时光机。皮博迪先生收养了人类孩...

    11年前   
    510    0

    华丰眼镜有限责任公司简介

    华丰眼镜有限责任公司简介 华丰眼镜有限责任公司1981年成立于****,是一家以经营各类眼镜产品为主的眼镜零售连锁企业。公司现拥有六家门店,总营业面积达1000多平方米,员工100多人。通过...

    12年前   
    12915    0

    文档贡献者

    平***苏

    贡献于2021-09-12

    下载需要 120 香币 [香币充值 ]
    亲,您也可以通过 分享原创文档 来获得香币奖励!
    下载文档

    该用户的其他文档