Advances in Cognitive Sciences

fa ارزیابی مدل یادگیری هیجانی مغز برای بازشناسی گفتار هیجانی هم‌پوشان ایجاد‌شده با کانولوشن Evaluation of the Brain Emotional Learning (BEL) Model for Recognizing Overlapping Emotional Speech Synthesized via Convolution مدل سازی شناختی، پردازش سیگنال و تصویربرداری مغز پژوهشي اصیل Research <div style="text-align: justify;">مقدمه: گفتار انسان می‌تواند چندین هیجان را به‌طور همزمان منتقل کند و تفسیر دقیق آن‌ها برای درک پیچیدگی ارتباطات انسانی اهمیت دارد. سیستم‌های رایج بازشناسی هیجان از گفتار معمولاً تنها هیجان غالب را شناسایی می‌کنند یا به ورودی‌های چندوجهی، مانند ترکیب نشانه‌های بصری و شنیداری، متکی هستند. هدف این پژوهش بهره‌گیری از مدل یادگیری هیجانی مغز برای بازشناسی گفتار هیجانی هم‌پوشان و ترکیبی است. روش: گفتار هیجان هم‌پوشان، با استفاده از داده‌های پایگاه‌داده استاندارد برلین بر اساس مفهوم ریاضی کانولوشن ایجاد می‌شوند. پایگاه‌داده برلین شامل هفت حالت هیجانی خشم، بی‌حوصلگی، تنفر، ترس، شادی، غم و خنثی است. ابتدا فایل‌های صوتی با استفاده نرم‌افزار متلب خوانده می‌شوند.  سپس، 21 حالت هیجانی ترکیبی از هم‌پوشانی دو گفتار هیجانی متفاوت بیان‌شده توسط یک گوینده با محتوای زبانی یکسان با استفاده از کانولوشن ایجاد می‌شوند. در مرحله بعد، بردار ویژگی برای هر گفتار هیجانی استخراج می‌شود. سپس این بردارها به‌عنوان ورودی برای مدل یادگیری هیجانی مغز استفاده می‌شوند. در نهایت، عملکرد مدل پیشنهادی در بازشناسی هیجان‌های هم‌پوشان با عملکرد مدل‌های رایج یادگیری ماشین مقایسه می‌شود. نتایج: یافته‌های به‌دست‌آمده ‌نشان‌ می‌دهند که  علی‌رغم آنکه دقت تطابق دقیق بازشناسی حالت‌های هیجان هم‌پوشان برای مدل یادگیری هیجانی مغز30% است، اما مقدار 53%برای امتیاز F1 کلان بیان‌کننده آن است که حداقل یک هیجان موجود در هیجان هم‌پوشان تا حدود قابل قبولی به‌درست تشخیص داده‌ می‌شود. نتیجه‌گیری: مدل یادگیری هیجانی مغز در بازشناسی گفتار هیجان هم‌پوشان، بازتابی واقع‌بینانه از عملکرد خود در شرایط واقعی ارائه می‌دهد.  </div> <div style="text-align: justify;">Abstract: Human speech can convey multiple emotions simultaneously; accurately interpreting them is important for understanding the complexity of human communication. Traditional speech emotion recognition systems usually detect only the dominant emotion or rely on multimodal inputs, such as visual and auditory cues. This study aims to use the Brain Emotion Learning model to recognize overlapping and mixed emotional speech. Method: Overlapping emotional speech is synthesized from the standard Berlin Emotional Speech Database using convolution. The Berlin database includes seven emotional states: anger, boredom, disgust, fear, happiness, sadness, and neutral. First, the audio files are processed by MATLAB software. Subsequently, twenty-one overlapping emotional states are generated by convolving two different emotional utterances spoken by the same speaker with identical linguistic content.  In the next step, the feature vector for each emotional utterance is extracted. These vectors are then used as input to the brain emotional learning model. Finally, the performance of the proposed model in recognizing overlapping emotions is compared with that of conventional machine-learning models. Results: The findings indicate that although the exact-match recognition accuracy of mixed emotional states is 30% for the brain emotional learning model, the Macro-F1 score of 53% demonstrates that at least one of the emotions present in each overlapping emotional utterance is correctly identified to an acceptable extent. Conclusion: The brain emotional learning model provides a realistic reflection of its performance under real-world conditions when recognizing overlapping emotional speech.  </div> <div style="text-align: justify;"></div> گفتار هیجانی هم‌پوشان, گفتار هیجانی ترکیبی, یادگیری هیجانی مغز, بازشناسی گفتار هیجانی, طبقه‌بندی چند‌برچسبی هیجان‌ها Overlapping Emotional Speech, Mixed Emotional Speech, Brain Emotional Learning, Speech Emotion Recognition, Multi-label Emotion Classification 0 0 http://icssjournal.ir/browse.php?a_code=A-10-405-2&slc_lang=fa&sid=1 Mina Fakhlaei مینا فخلعی mina.fakhlai@iau.ac.ir 0938080040 0009-0007-1758-6174 No PhD Student of Computer Engineering, Department of Computer Engineering, SR.C., Islamic Azad University, Tehran, Iran دانشجوی دکتری مهندسی کامپیوتر، گروه مهندسی کامپیوتر، واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران Saeed Setayeshi سعید ستایشی setayesh@aut.ac.ir 325569759 100319475328460020361 Yes Professor of Electrical and Computer Engineering, Department of Medical Radiation, Amirkabir University of Technology, Tehran, Iran استاد مهندسی برق و کامپیوتر، گروه فیزیک و مهندسی انرژی، دانشگاه صنعتی امیرکبیر، تهران، ایران Hossein Arabalibeil حسین علی‌بیک arabalibeik@tums.ac.ir 100319475328460020362 100319475328460020362 No Associate Professor of Biomedical Engineering, Department of Medical Sciences, Tehran University, Tehran, Iran دانشیار مهندسی پزشکی، گروه مرکز تحقیقات علوم و فناوری در پزشکی، دانشگاه علوم و پزشکی تهران، تهران، ایران Abbas Koochari عباس کوچاری koochari@iau.ac.ir 100319475328460020363 100319475328460020363 No Assistant Professor of Computer Engineering, Department of Computer Engineering, SR.C., Islamic Azad University, Tehran, Iran استادیارمهندسی کامپیوتر، گروه مهندسی کامپیوتر، واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران