e世博国际APP

深度学习下的微表情研究:困难、进展及趋势 - CNCC 2019

- CNCC 2019雷锋网络AI技术评论:人们善于通过表达来伪装动物,但心理学家可以用“微表情”来揭示人们试图隐藏的真实情感。

所谓的微观表达是一种面部动作,当人们试图隐藏自己的真实情感时,这种行为非常短暂并且会泄漏。

如果你看过美国电视剧《Lie to Me》,你应该熟悉微表情。男主人卡尔莱特曼是一位微表达专家。他不需要使用诸如测谎仪之类的设备,即使没有对话,也不需要收集各种证据。他只需要观察微妙的表情变化来判断一个人是否撒谎。

这样做的原因是人们在经历情绪时会无意识地经历一系列肌肉运动。

例如,当人们生气时,他们的眉毛会皱折和下垂,他们的眼睛和嘴唇会紧张:

或者当一个人对某些事情感到惊讶时,下颌会自然下垂,嘴唇和嘴巴会松弛,眼睛会变宽,眼睑和眉毛会略微上升:

当然,我们知道面部表情可以通过主观意识来控制。例如,一个人因为他的知识,经验和能力而处于起伏状态时可能不会改变他的脸。然而,微表情是面部肌肉被调节以表达情绪的行为。因此,微观表达经常揭示人类试图隐藏的真实情感。

但与微表情的定义一样,微表情的持续时间短,变化微弱,运动区域较少,而且通常很难注意到它们的存在。只有训练有素的专家才能准确检测出来,而不同的专家经常判断出不一致。手工观察微观表达实际上是一项劳动密集型,耗时且低精度的事情!

停!

它需要大量的人力和物力,一台工作机器和许多专家.这不是机器学习擅长的吗?事实上,许多学者已经在机器学习中使用了微观表达研究。

首先,方法

微观表达的研究实际上与方法上的人脸识别相似,并且通常涉及检测和识别两个特定问题。

对于面部识别,通常首先执行面部检测,然后识别检测到的面部。该过程也适用于微表情识别:首先,从长视频中检测具有微表达的视频剪辑,然后检测微表达所属的微表达的类型。

人脸检测和微表达检测

微表达检测是指检测微表达是否包括在视频流中,并标记微表达的起始,峰值(顶点)和终点(偏移)。起始是指微表达出现的时间;峰值(顶点)是指微表达最大的时间;偏移量(偏移量)是指微表达式消失的时间。

微表达识别指的是已经被分割的微表达片段的识别,并且微表达的情绪类型(例如厌恶,悲伤,惊讶,愤怒,恐惧,快乐等)被识别为算法。与3D动态表情识别一样,它处理的对象是视频剪辑,而不仅仅是单个图像。在其处理过程中,不仅要考虑空间模式,还要考虑时间模式。如此多的微表情识别算法考虑了时空模式。

与微表达检测相比,微表达识别不那么困难。因此,微表情的研究通常从微表情识别开始。

然而,微表达式的检测和定位往往更实用。如果微观表达出现在准确检测到并位于特定时间点的视频中,则该人可能在此时具有异常。

二,数据集

事实上,微表达研究最困难的是如何收集足够高质量的微表达数据集。

目前,微表达数据库并不多。已知的有:USF-HD数据库,Polikovsky数据库,SMIC数据库,CASME数据库,CASME II数据库,SAMM数据库,CAS(ME)2数据库。在八个数据库中,前两个是非自然诱导和非公开的。

其他五个数据集,CASME,CASME II和CAS(ME)2由中国科学院心理研究所的傅小兰团队建立,中芯国际由赵国英团队建立。芬兰奥卢大学。每个数据集的详细信息如下表所示:

五个公开发表的微表达数据库

应该强调的是,这些数据库的样本量非常小。到目前为止,已发表的微表达样本不到800个。这是一个典型的小样本问题。这使得当前基于深度学习的方法无法充分发挥其对微表达问题的作用。雷锋网络

实际上,建立微表达式数据库非常困难。一个原因是微表达的诱导是困难的。研究人员经常要求参与者观看情感视频,激发他们的情绪,并要求他们掩饰自己的表情。有些科目可能没有微表情或看起来很少。

另一方面,微表达式的编码也非常耗时且费力。微表情的编码取决于肉眼,要求观察者缓慢观看视频,并选择面部运动的开始,峰值,结束并计算它们的持续时间。而对于微表情的情感校准,目前还没有统一的标准。

微表达数据库面临的其他问题。因为微表情的运动幅度非常小,而且常常是局部运动相对于传统表达,在情绪分类中不是很清楚,不同数据库的情绪校准标准是不同的,所以类似的运动被视为不同类型的微表达式。表达式和不同的运动被视为类似的表达。该特征导致使用各种数据库进行微表情识别训练的结果不一致。

此外,由于持续时间短,强度低且通常局部运动的微表情,许多当前的微表达数据库视频质量不能满足微表情识别分析的需要,这需要具有更高时空的视频剪辑解析度。进一步完善了当前的识别算法。

总之一句:微观表达非常重要,问题非常严重,困难很大。

三,现状

近年来,微观表达引起了越来越多的学者的关注。

2009年至2016年计算机科学领域发表的微表达论文数量统计(来自Scopus的数据)

上图显示了2009年至2016年计算机科学领域发表的微表达论文数量的统计数据。可以看出,在过去三年中,微表达论文的论文数量急剧增加。 2009 - 2016年共发布文章81篇,其中2016年发表30篇,占总数的37%。特别是,在2013年公开发布两个微表达数据库(CASME和SMIC)后,与微观表达相关的论文数量逐年增加。

目前,国外较好的国家主要是来自芬兰奥卢大学的赵国英团队。他们提出了微观表达识别的系统框架,并公开发布了微表达数据库SMIC。其他人包括马来西亚多媒体大学的John See团队,英国曼彻斯特城市大学的Moi Hoon Yap团队,南佛罗里达大学的Shreve,日本筑波大学的Polikovsky以及日本早稻田大学的Yao 。

国内微观表达检测与鉴定研究机构主要包括中国科学院心理研究所傅小兰小组。上面提到的三个数据库都是由他们建立的。其次,东南大学郑文明团队,山东大学团队,复旦大学张俊平团队,清华大学刘永进团队,中山大学郑伟士团队。可以看出,中国这个地区的研究团队相对较多。

从微表达论文的数量可以看出,微表达检测和识别的研究属于一个小生境研究。造成这种限制的主要原因是缺乏大规模,高质量,开放的数据资源。因此,使用机器学习方法进行微表情研究的一个重要问题是如何构建大规模,高质量的数据库资源。这面临着从硬件到软件再到标准的一系列严峻挑战。

第四,在路上

在国内,关于微观表达研究的会议或论坛并不多。他们中的大多数只是小圈子中一些研究人员之间的交流。其他研究人员和公众对这项研究的进展知之甚少。

为了提高国内学者和公众对该领域的关注,中国科学院心理研究所副研究员王素静博士和第八届吴文俊人工智能科技奖一等奖2018年,将在CNCC 2019年会议上发表主题。微表情检测与识别论坛,邀请儿童发展与学习教育部重点实验室主任郑文明教授,西安交通大学杰出研究员洪小鹏博士,闫副教授文京,京东数字技术,江西中医药大学沉兴兵副教授。山东大学副教授等,共同探讨微表达检测与识别,理论与应用的现状与未来。中国科学院心理研究所建立的微表达编码共享平台(也将在论坛上介绍。

那个时候会产生什么样的火花呢?值得期待。

论坛概述:微观表达是一种面部行为,当人们试图隐藏自己的真实情感时,这种行为非常短暂并且会泄漏。这种不受抑制的属性使微表情成为欺诈检测的重要线索。当人们欺骗他人时,个人将有许多信号反映心脏的真实情感体验(例如害怕害怕被发现,他人的幸福等等)。相对于更持久的宏观表达的研究,需要进一步探索微表情的产生,识别(自动识别)和相应的认知神经机制。微观表达的无法控制的属性可以应用于国家安全(安全筛选),司法实践(审讯),临床医学(博士沟通),广告和消费(监督消费者的真实态度)和各种行业的其他现实。意图检测。该论坛邀请心理学和计算机专家从两个学科的角度报告微表情检测和识别。

主席:王素静,IEEE,CCF高级会员。中国科学院心理研究所副研究员,从事微表达检测与识别研究,利用计算机视觉技术,在微表达检测与识别方面开展了卓有成效的工作。通过计算机科学与心理学的交叉,在自发的微表情诱导,微表达检测和微表达识别方面实现了系统的创新。 “微表达识别法”获2018年第八届吴文俊人工智能科技奖一等奖。

讲者1:贲烨

题目:M2MEW:跨源面部宏/微表情数据库

嘿,副教授,硕士博士生导师,山东大学未来计划学者。主要研究方向是图像处理和模式识别。曾被授予哈尔滨工程大学优秀博士学位论文奖和黑龙江省优秀毕业生荣誉称号。他被选为教育部“全国博士后特别资助计划”。 2010年4月至2012年5月,他在哈尔滨工业大学交通信息与控制专业移动站担任博士后研究员。 2011年11月,他加入山东大学信息科学与工程学院图像处理与模式识别技术研究所。 2015年1月至2015年1月。2015年12月,澳大利亚悉尼科技大学人工智能中心(澳大利亚排名第一),陶大成教授的研究小组访问并交换了一年。曾主持国家自然科学基金,青年基金,科技部国家重点研究发展计划子项目,山东省重点研究发展计划,博士生部教育,博士后一流资助项目和博士后专项基金。

讲者2:颜文靖

题目:微表情数据库的现状与未来

严文静,博士,毕业于中国科学院心理研究所。曾任温州大学心理学系主任,副教授,硕士生导师,韩国国立大学兼职博士生导师。长期研究心理学和计算机的交叉,研究兴趣主要包括表情和手势,欺骗和心理健康,并建立了最广泛使用的微表达数据库CASME。京东数码科技目前正在开展心理学与人工智能相结合的应用研究。

讲者3:郑文明

题目:人的智能发展评测与心理生理信息感知计算

郑文明,二级教授,博士生导师,现任儿童发展与学习教育部重点实验室主任,IEEE高级会员,中国认知科学学会理事。 2004年9月,他毕业于东南大学无线电工程系,主修信号与信息处理。他曾在微软亚洲研究院,香港中文大学,伊利诺伊大学厄巴纳 - 香槟分校和剑桥大学进行研究。主要研究方向是多模态情绪计算,神经信息处理,计算机视觉和机器学习。 2005年,他被选为教育部新世纪优秀人才支持计划。他被授予首届微软青年教授奖,全国优秀博士论文提名奖和江苏杰出青年基金奖。他是国内外期刊编辑的成员,如IEEE Transactions on Affective Computing,Neurocomputing,The Visual Computer,《图学学报》。他主持了科技部973项目,国家自然科学基金项目和江苏省优秀青年基金项目。曾获国家技术发明二等奖,教育部自然科学二等奖,江苏省科技进步二等奖。项目。

讲者4:申寻兵

题目:欺骗检测的情绪泄露线索

沉兴兵,副教授,硕士,迈阿密大学(牛津)访问学者。在过去的五年中,这些同志主持了6个省部级项目(其中一个来自国家自然科学基金,一个来自教育部);发表论文16篇(包括第一作者或通讯作者SCI/SSCI论文,4篇CSSCI论文,5篇EI论文,1篇CPCI(ISTP)论文; 3篇写作材料或书籍,1本国家规划教科书; 1份学校二等奖教学成果(排名第1)),获得授权发明专利之一(排名第二)。兼职《科学通报》,《心理学报》,《心理科学》审稿人,《Frontiers in Psychology》客座编辑,审稿人,世界中医药联合会中医心理学委员会执行主任,江西省江西省心理学会常务理事社会心理学会会员,江西中西医结合学会循证医学委员会委员,江西中西医结合学会循证医学委员会委员,人工智能与人工情感委员会委员中国人工智能学会,江西省公共资源交易中心专家评审,江西省养老服务标准化技术委员会委员。

讲者5:洪晓鹏

题目:自动微表情分析:从手工特征到深度学习

洪小鹏博士现为杰出研究员和博士。西安交通大学电信系主任。他被授予芬兰奥卢大学博士生导师(Docent)称号。在高文院士的指导下,他获得了博士学位。他目前的研究兴趣包括微表情识别,医学检查,小样本学习和对象跟踪。 Hong Xiaopeng博士作为国际权威期刊和会议的主要作者发表了30多篇文章,包括CTF A级学术期刊,如IEEE T-PAMI,T-IP,CVPR和ACM UbiComp。已发表的文章Google Scholar已被引用超过800次,该出版物在单篇文章中的最高影响因子是9.455。有关瞬态情绪分析的相关工作已被国际权威媒体文章所涵盖,包括美国《麻省理工技术评论》和英国《每日邮报》。自2011年以来,他主持了芬兰奥卢市的Infotech Oulu博士后研究基金项目。他是芬兰科学院ICT2023项目的联合主席,并参与了几个芬兰学院的基金项目和中国国家自然科学基金会。

参考文章:

雷锋网络报道