Advances in Cognitive Sciences

other هم‌جوشی تطبیقی سیگنال‌های بیوالکتریک پیشانی و فیزیولوژیکی برای تشخیص احساس Adaptive Fusion of Forehead and Physiological Signals upon Emotion Recognition تخصصي Special پژوهشي اصیل Research <div style="text-align: justify;">هدف: در این مطالعه، برای هم جوشی سیگنال های احساسی چندگانه، به منظور بهبود عملکرد سیستم تشخیص احساس، روش تطبیقی جدیدی پیشنهاد شد. روش: به عنوان معیارهای عاطفی، سه کانال سیگنال های بیوالکتریک پیشانی، به همراه معیارهای فیزیولوژیکی (فشارحجم خون، هدایت پوست و فاصله ی زمانی ضربان ها) به کار رفت. با نمایش قطعات تصویری از پیش انتخاب شده برای هر کدام از ۲۵ شرکت کننده در آزمایش، شش حالت احساسی پایه شامل خشم، غم، ترس، تنفر، خوشحالی و تعجب ایجاد شدند. در سیستم پیشنهادی تشخیص احساس، سیگنال های ثبت شده با ایجاد سه واحد طبقه بندی  حالت های احساسی را به طور مستقل شناسایی کردند. سپس نتایج با اعمال مدل خطی وزندار تطبیقی با هم ادغام شدند. به هر یک از واحدهای طبقه بندی، وزنی نسبت داده میشود؛ به طوری که این وزن ها مربعات خطای سیستم ترکیبی را کمینه می کنند. یافته ها: نتایج بیانگر مطلوبتر بودن عملکرد روش هم جوشی پیشنهادی نسبت به هر یک از واحدهای طبقه بندی منفرد و همچنین سیستم های دیگری است که با هم‌جوشی ویژگی ها و هم جوشی واحدهای طبقه بندی با استفاده از روش بیشترین آرا  طراحی شدند. با استفاده از روش طبقه بندی SVM، دقت شناسایی حالت های احساسی موردنظر ۸۸ درصد به دست آمد. همچنین ِصرف اعمال سیگنال های پیشانی و یا سیگنال های فیزیولوژیکی در ساختار همجوشی پیشنهادی نشان داد که طراحی یک سیستم قابل اعتماد تشخیص احساس، بدون نیاز به معیارهای عاطفی دیگر ممکن است. نتیجه گیری: بر اساس نتایج، پیشنهاد می شود تا در طراحی سیستم تشخیص احساس، از روش هم جوشی تطبیقی واحدهای طبقه بندی استفاده شود.</div> Introduction: In this study, we propose a new adaptive method for fusing multiple emotional modalities to improve the performance of an emotion recognition system. Method: Three-channel forehead biosignals, along with peripheral physiological measurements (blood volume pressure, skin conductance, and interbeat intervals), were utilized as emotional modalities. Six basic emotions, i.e., anger, sadness, fear, disgust, happiness, and surprise were elicited by displaying preselected video clips for each of the 25 participants in the experiment. In the proposed emotion recognition system, recorded signals with the formation of three classification units identified the emotions independently. The results were then fused using the adaptive weighted linear model to produce the final result. Each classification unit is assigned a weight that minimizes the squared error of the ensemble system. Results: The results showed that, the proposed fusion method outperformed all individual classifiers and emotion systems that were designed based on feature level fusion and classifiers fusion using the majority voting method. Using the support vector machine (SVM) classifier, an overall recognition accuracy of 88% was obtained in identifying the intended emotional states. Also, applying only the forehead or the physiological signals in the proposed fusion scheme indicates that designing a reliable emotion recognition system is feasible without the need for additional emotional modalities. Conclusion: The results suggest using adaptive fusion of classification units in the design of multimodal emotions recognition system.   سیستم تشخیص احساس, تشخیص الگو, سیگنال های بیوالکتریک پیشانی, سیگنال‌های فیزیولوژیکی, هم جوشی مرحله ی تصمیم‌گیری, هم‌جوشی تطبیقی Emotion Recognition System, Pattern Recognition, Forehead Bioelectric Signals, Physiological Signals, Decision Level Fusion, Adaptive Fusion 45 62 http://icssjournal.ir/browse.php?a_code=A-10-2-336&slc_lang=other&sid=1 Mahdi Khezri مهدی خضری 10031947532846004606 10031947532846004606 No PhD Student, Biomedical Engineering Department, Faculty of Electrical and Computer Engineering, Tarbiat Modares University, Tehran,Iran. دانشجوی دکتری مهندسی پزشکی، دانشکده مهندسی برق و کامپیوتر، دانشگاه تربیت مدرس Mohammad Firoozabadi سید محمد فیروزآبادی pourmir@modares.ac.ir 10031947532846004607 10031947532846004607 Yes Professor, Medical Physics Department, Faculty of Medical Sciences, Tarbiat Modares University, Tehran,Iran. استاد، گروه فیزیک پزشکی، دانشکده پزشکی، دانشگاه تربیت مدرس Ahmad Reza Sharafat Professor سید احمدرضا شرافت 10031947532846004608 10031947532846004608 No Electrical Engineering Department, Faculty of Electrical and Computer Engineering, Tarbiat Modares University, Tehran,Iran. استاد، گروه برق، دانشگاه تربیت مدرس