个性化机器学习模型捕获面部表情的微妙变化，以更好地衡量我们的感受。
麻省理工学院媒体实验室研究人员开发了一种机器学习模型，将电脑接近将我们的情绪视为人类所做的自然。
在越来越多的“情感计算”领域，正在开发机器人和计算机，以分析面部表情，解释我们的情绪，并相应地回应。例如，申请包括监测个人的健康和福祉，衡量在教室的学生兴趣，帮助诊断某些疾病的迹象，并开发有用的机器人伴侣。
然而，挑战是人们表达情绪完全不同，具体取决于许多因素。文化，性别和年龄组之间可以看到一般差异。但其他差异甚至更细粒度：一天中的时间，你睡得多少，甚至你对谈话伙伴的熟悉程度甚至导致你在特定时刻的表达，幸福或悲伤的方式微妙的变化。
人类大脑本能地捕捉这些偏差，而是机器斗争。近年来发展了深度学习技术，以帮助捕获微妙之处，但它们仍然不如他们所可能的不同人群那么准确或适应。
媒体实验室研究人员已经开发了一种机器学习模型，优于传统系统，在捕获这些小型面部表情变化，以更好地衡量衡量的情绪，同时训练成千上万的面孔。此外，通过使用一点额外的培训数据，该模型可以适应一个完全新的人群，具有相同的功效。目的是改善现有的情感计算技术。
“这是一种不引人注目的方式来监测我们的情绪，”媒体实验室研究员和一个描述该模型的纸质研究人员和合作的纸张oggi Rudovic说，该模型在上周在机器学习会议上展示了机器学习和数据挖掘会议上。“如果你想要具有社交智能的机器人，你必须聪明地让他们自然地对我们的情绪和情绪相应，更像是人类。”本文的共同作者是：第一作者Michael Feffer，电气工程和计算机科学的本科生;和Rosalind Picard是一位媒体艺术与科学教授和情感计算研究组的创始主任。
个性化专家
传统的情感计算模型使用“单尺寸适合的”概念。他们在一组图像上训练描绘各种面部表情的图像，优化特征 - 例如如何在微笑时绘制唇部卷曲 - 并在整个一组新图像上映射那些通用功能优化。
相反，研究人员组合了一种称为“专家”（MOE）的技术（MOE）（MOE），其中具有模型个性化技术，这有助于挖掘个人的细粒度的面部表达数据。Rudovic说，这是这两种技术首次组合用于情感计算的技术。
在moe中，许多被称为“专家”的神经网络模型被训练成专门从事单独的处理任务，并产生一个输出。研究人员还加入了一个“门控网络”，用来计算哪位专家能最有效地检测不可见对象的情绪的概率。费弗说:“基本上，这个网络可以分辨个人，并说，‘这就是对给定图像的正确专家。’”
在他们的模型中，研究人员通过将每位专家与RECOLA数据库中18段个人视频中的一段进行匹配，使moe个性化。RECOLA数据库是为情感计算应用程序设计的视频聊天平台上人们交谈的公共数据库。他们用9个实验对象来训练这个模型，并对其他9个实验对象进行评估，所有的视频都被分成单独的帧。
每个专家和门控网络在残差网络(ResNet)的帮助下跟踪每个个体的面部表情，残差网络是用于对象分类的神经网络。在这样做的过程中，该模型根据效价(愉快或不愉快)和兴奋(兴奋)的水平对每个帧进行打分——这是对不同情绪状态进行编码的常用指标。另外，六名人类专家根据-1(低水平)到1(高水平)的等级为每个效价和唤起框架分别贴上标签，该模型也用于训练。
然后，研究人员进行了进一步的模型个性化，他们从受试者剩余视频的一些帧中输入训练模型数据，然后在这些视频中所有看不见的帧中测试模型。结果显示，仅从新人群中获得5%到10%的数据，该模型就大大超过了传统模型——这意味着它对看不见的图像的效价和兴奋程度的评分更接近人类专家的解释。
Rudovic说，这显示了模型在数据非常少的情况下，在人口与人口之间或个体与个体之间进行调整的潜力。“这是关键，”他说。“当你有了一个新的种群，你必须有一种方法来解释数据分布的变化(微妙的面部变化)。想象一下，在一种文化中分析面部表情的模型需要适应另一种文化。如果不考虑这种数据变化，这些模型将表现不佳。但如果你只是从一个新的文化中取样来适应我们的模型，这些模型可以做得更好，特别是在个人层面上。这是最能体现模型个性化重要性的地方。”
目前这种情感计算研究的可用数据在肤色方面并不是很多样化，因此研究人员的训练数据有限。但当这些数据可用时，该模型可以经过训练，用于更多样化的人群。费弗说，下一步是在“更大的数据集和更多样化的文化”上训练这个模型。
更好的机器人类互动
研究人员说，另一个目标是培训模型，以帮助计算机和机器人自动学习从少量更改数据，以更自然地检测我们的感受和更好地服务人类需求。
例如，它可以在计算机或移动设备的背景中运行，以跟踪用户的基于视频的对话，并在不同上下文下学习微妙的面部表情。“你可以让智能手机应用程序或网站等东西能够告诉人们如何感受和建议应对压力或痛苦的方式，以及其他影响他们的生活的东西，”菲尔德说。
这也可以有助于监测，说，抑郁或痴呆，因为人们的面部表情往往由于这些条件而彻底变化。“能够被动地监控我们的面部表情，”Rudovic说，“我们可以随着时间的推移，能够个性化这些模型来对用户进行个性化，并监测他们每天基础的偏差程度 - 偏离平均水平的面部富有效率 - 并使用它对于福祉和健康指标。“
鲁维奇说，一个有前途的应用程序是人类机器人的相互作用，例如用于教育目的的个人机器人或机器人，机器人需要适应评估许多不同人的情绪状态。例如，一个版本已被使用帮助机器人更好地理解自闭症儿童的情绪．
女王大学贝尔法斯特和情感计算学者的心理学教授罗迪·凯莉说，麻省理工学院的工作“说明了我们在现场”的地方。“我们正在向大致地放置的系统边缘，从人们的面孔图片，他们躺在鳞片上的鳞片，从非常积极到非常消极，非常活跃到非常被动，”他说。“这似乎直观的是，一个人给出的情感迹象与另一个人的迹象不同，所以在个性化时，情感识别会更好地效果更好。个性化的方法反映了另一个有趣的点，即培训多个“专家”并汇总判断比培训单一超级专家更有效。两者一起制作一个令人满意的包装。“
这篇文章被允许转载麻省理工学院新闻。
了下:机器人报告
告诉我们你的想法！