背景介绍 柔性混合电子设备具有柔性/可拉伸传感器和商用刚性但小型化的高性能设备组件的共同优点，可为健康监测、人机界面和机器人提供完全集成的设备系统。在健康监测中，多模态传感对生理和心理健康的表现至关重要。鉴于现代社会压力水平的上升，实时情绪监测对抑郁、焦虑或恐慌等心理问题的早期发现和及时干预变得越来越重要。虽然面部表情可以对潜在情绪提供一些看法，但仅仅依赖于面部表情的指标往往会导致不准确的分类和测试，因为许多人可能无法因为个人差异和社会因素而明显表达自己的感受。因此，将面部表情分析与其它生理参数相结合，对于全面理解和提高预测精度至关重要。 对情绪状态的宝贵见解可以从皮肤温度、湿度、心率和SPO2水平的变化中获得。例如，当一个人感到惊讶或愤怒时，皮肤温度会升高，当他快乐、恐惧或悲伤时，皮肤温度会升高。在出汗引起的恐惧期间，皮肤湿度会上升，主要反映出汗水平。心率通常会随着快乐、惊讶、恐惧或愤怒而增加，悲伤通常会导致心率下降。对于厌恶，温度、湿度和心率反应可能因特定的厌恶类型而异。同时，监测SPO2水平是有价值的，因为引起恐慌的情绪可能会导致呼吸困难和其他与SPO2水平下降有关的症状。因此，将生理信号与面部表情相结合的多维数据可以更准确地识别情绪。 虽然柔性传感器已被广泛报道用于实时跟踪应变、温度、湿度、心率和血氧，但高精度检测这些信号仍然具有挑战性。最小化耦合的努力始于直观的策略。例如，蛇形等可拉伸结构通常用于增强可拉伸性，可以自然降低应变效应。将具有正温度系数和负温度系数的材料结合起来，可以实现温度不敏感，而透气或封装传感器可以降低对湿度的敏感性。另一方面，基于多孔离子膜的湿度传感器在一定温度范围内表现出离子迁移的稳定性，多孔结构在压力下抵抗明显变形。因此，它们可以在广泛的温度和压力范围内保持稳定的性能。尽管取得了这些进展，但现有的研究大多集中在测量两个输入信号的单个传感器上。因此，为了准确可靠地感知情绪识别，迫切需要开发能够有效解耦两个以上信号的先进传感器。 本文亮点 1. 本工作介绍了一种完全集成的拉伸、充电和多模式混合设备，将解耦传感器与灵活的无线电源和传输模块结合起来进行情感识别。 2. 通过优化的结构设计和材料选择，传感器可以提供连续的实时解耦监测，即双轴应变、温度、湿度、心率和SPO2水平。可充电系统通过传感器和柔性电路的双层堆叠，显示了设备占地面积的减少和舒适度的提高。 3. 还证明了神经网络模型能够实现高精度的面部表情识别。该系统允许医疗专业人员评估心理健康，并在必要时通过远程医疗提供情感支持，将实时测量数据传输到移动设备和云。 图文解析 图1.（a） 可充电可拉伸混合无线传感设备系统的分解图（b）传感器的布局信息由多层布局内部制造。（c） 机械变形(如20%拉伸(左)集成传感装置系统、150°弯曲(中)和60°扭曲(右)下有限元分析（FEA，上图)与照片(下图)的对比。（d） 显示设备组件和数据流的示意图。（e） 将多模态生理传感器系统与神经网络分析相结合，应用于情绪监测和分析。 图2.（a） 作为X轴应变传感器的归一化相对变化（i）X轴拉伸应变，（ii）温度和（iii）湿度函数。（b） Y轴应变传感器的归一化相对变化（i）Y轴拉伸应变，（ii）温度和（iii）湿度函数。（c） 作为温度传感器的归一化相对变化，（i）温度、（ii）湿度和（iii）应变函数。（d） 作为湿度传感器的归一化相对变化，（i）湿度、（ii）温度和（iii）应变函数。 图3. （a） （i）光学图像，（ii）示意图，还有（iii）传感器横截面SEM图像。（b） （c）（i）传感器在水蒸气密度为0.7626kg/m3的环境中的湿度分布（ii）SEM和碳纳米管的孔隙率分析图像。（d） 传感器蛇形电极中的应变分布（i）PET应变隔离在20%X轴拉伸下没有，（ii）PET应变隔离在等效拉伸应力下；以及（iii）SEM图像蛇形电极(没有PET引起的裂纹)。（e） 沿着应变传感器（i）X和（ii）Y方向拉伸时的应变分布，包括（iii）SEM图像显示了裂纹模式随拉伸应变的演变:5%(左)、40%(中)和80%(右)。 图4. （a） 机器学习算法的示意流程图用于训练和分类不同的面部表情。（b） （i）损失和（ii）训练过程中100次迭代/迭代中训练(蓝色)和验证(红色)的准确性。（c） 情绪识别的混淆矩阵经过100次迭代。（d） 六种面部表情沿（i）X和（ii）Y方向的代表性应变测量值标记为1-6，表示快乐、惊讶、恐惧、悲伤、愤怒和厌恶，以及相应的（e）K-means聚类图。（i）温度和（ii）湿度传感器在（f）静态/运动状态和（g）响应变化在不同的情绪下。 图5. （a） 集成混合动力装置系统的照片连接到不同的身体部位。（b） Spo2数据从不同身体部位获得，在休息和间歇屏气状态下。（ii）在休息/运动状态下从脸上获得的心率变化，以及（iii）心率在不同情绪状态下发生变化。（c） （i）网络和（ii）基于移动的云监控界面。 审核编辑 黄宇