Advances in Cognitive Sciences

fa ارزیابی مدل یادگیری هیجانی مغز برای بازشناسی گفتار هیجانی هم‌پوشان ایجاد شده با کانولوشن Evaluation of the Brain Emotional Learning (BEL) Model for Recognizing Overlapped Emotional Speech Synthesized via Convolution مدل سازی شناختی، پردازش سیگنال و تصویربرداری مغز پژوهشي اصیل Research <div style="text-align: justify;">مقدمه: گفتار انسان قادربه انتقال  چندین هیجان به طور همزمان است که تفسیر دقیق آنها در درک پیچیدگی ارتباطات انسانی مهم هستند. سیستم‌های تشخیص احساسات گفتاری سنتی معمولاً فقط هیجان غالب را شناسایی می‌کنند یا به ورودی‌های چندوجهی، مانند ترکیب نشانه‌های بصری و شنیداری، متکی هستند. هدف این پژوهش بهره‌گیری از مدل یادگیری هیجانی مغز (BEL) برای بازشناسی گفتار هیجانی هم‌پوشان و ترکیبی است. روش:  گفتار هیجاتی هم‌پوشان مبتنی بر داده‌های پایگاه داده استاندارد گفتار هیجانی برلین (EMO-DB) براساس مفهموم غنی ریاضی کانولوشن ایجاد شده‌اند. پایگاه داده برلین شامل هفت حالت هیجانی، شادی، غم، ترس، تنفر، بی حوصلگی، خشم و خنثی می باشد. ابتدا  فایل های صوتی توسط  نرم ا افزار MATLAB خوانده شدند،  سپس بیست و یک  حالت هیجانی ترکیبی از هم‌پوشانی دو گفتارهای هیجانی مختلف بیان شده توسط یک گوینده با محتوای زبانی یکسان با استفاده از کانولوشن ایجاد گردید. در مرحله بعد، بردار ویژگی برای هر گفتار هیجانی استخراج شد. سپس این بردارها به عنوان ورودی برای مدل یادگیری هیجانی مغز استفاده شدند. در انتها، دقت  بازشناسی هیجان ترکیبی مدل پیشنهادی با مدل‌های رایج یادگیری ماشین  مورد ارزیابی قرار می‌گیرد. یافته ها: نتایج بدست امده‌نشان‌می‌دهد که، علی‌رغم آنکه دقت بازشناسی حالت‌های هیجانی ترکیبی با مدل یادگیری هیجانی مغز 30% است، اما  مقدار 53%برای معیار Macro_F1 بازیان‌کننده آن است  حداقل یک هیجان موجود در هیجان ترکیبی تاحدود قابل قبولی به درست تشخیص داده‌شده‌است. نتیجه‌گیری: مدل یادگیری هیجانی مغز در بازشناسی گفتار هیجان هم‌پوشان بازتاب واقع‌بینانه‌ای از عملکرد مدل در شرایط واقعی ارائه‌می‌دهد.</div> <div style="text-align: justify;">Abstract: Human speech is capable of conveying multiple emotions simultaneously, the accurate interpretation of which is important in understanding the complexity of human communication. Traditional speech emotion recognition systems usually detect only the dominant emotion or rely on multimodal inputs, such as visual and auditory cues. This study aims to use the Brain Emotion Learning (BEL) model to recognize overlapping and mixed emotional speech. Method: Overlapping emotional speech was synthesized based on the standard Berlin Emotional Speech Standard Database (EMO-DB) using the rich mathematical concept of convolution. The Berlin database includes seven emotional states: happiness, sadness, fear, disgust, boredom, anger, and neutral. First, the audio files were read by MATLAB software. Subsequently, twenty-one overlapping emotional states were generated by convolving two different emotional utterances spoken by the same speaker with t identical linguistic content.  In the next step, the feature vector for each emotional speech was extracted. These vectors were then utilized as input for the brain emotional learning model. Finally, the blended emotion recognition accuracy of the proposed model was evaluated with common machine learning models. Findings: The results indicated that although the recognition accuracy of mixed emotional states with the brain emotional learning model is 30%, the Macro-F1 score of 53% demonstrates that at least one of the emotions present in the overlapping emotion is correctly identified to an acceptable extent. Conclusion: The brain emotional learning model in recognizing overlapped emotional speech provides a realistic reflection of the model’s performance in real-world conditions.</div> <div style="text-align: justify;"></div> گفتار هیجانی هم‌پوشان، گفتار هیجانی ترکیبی، یادگیری هیجانی مغز، بازشناسی گفتار هیجانی Overlapping Emotional Speech, Mixed Emotional Speech, Brain Emotional Learning, Speech Emotional Learning 0 0 http://icssjournal.ir/browse.php?a_code=A-10-405-2&slc_lang=fa&sid=1 Mina Fakhlaei مینا فخلعی mina.fakhlai@iau.ac.ir 0938080040 100319475328460020217 No Department of Computer Engineering، SR.C.، Islamic Azad University، Tehran، Iran دانشگاه علوم و تحقیقات تهران-تهران -ایران saeed setayeshi سعید ستایشی setayesh@aut.ac.ir 325569759 100319475328460020218 Yes 2Department of Medical Radiation، Amirkabir University of Technology، Tehran، Iran انشگاه صنعتی امیرکبیر حسین عربعلی بیک arabalibeik@tums.ac.ir 100319475328460020219 100319475328460020219 No Department of Medical Sciences، Tehran University، Tehran، Iran دانشگاه علوم پزشکی تهران Abbas Koochari عباس کوچاری koochari@iau.ac.ir 100319475328460020220 100319475328460020220 No Department of Computer Engineering، SR.C.، Islamic Azad University، Tehran، Iran دانشگاه علوم و تحقیقات تهران-تهران -ایران