دوره 21، شماره 4 - ( زمستان 1398 )                   جلد 21 شماره 4 صفحات 0-0 | برگشت به فهرست نسخه ها

XML English Abstract Print


Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:

Farhoudi Z, Setayeshi S, Razazi F, Rabiee A. Emotion Recognition Based on Multimodal Fusion Using Mixture of Brain Emotional Learning. Advances in Cognitive Sciences. 2019; 21 (4)
URL: http://icssjournal.ir/article-1-1067-fa.html
فرهودی زینب، ستایشی سعید، رزازی فربد، ربیعی اعظم. بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز. تازه های علوم شناختی. 1398; 21 (4)

URL: http://icssjournal.ir/article-1-1067-fa.html


1- دکتری هوش مصنوعی، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد علوم و تحقیقات، تهران
2- استاد دانشگاه صنعتی امیرکبیر، گروه مهندسی پرتوپزشکی، تهران
3- استاد دانشگاه علوم و تحقیقات آزاد اسلامی، گروه الکترونیک و مهندسی کامپیوتر، دانشگاه علوم و تحقیقات آزاد اسلامی، تهران
4- استاد دانشگاه، دانشکده مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد دولت آباد، اصفهان
چکیده:   (1123 مشاهده)
مقدمه: بازشناسی هیجان چندوجهی به واسطه دریافت اطلاعات از منابع حسی (وجه های) مختلف از یک ویدیو دارای چالش­‌های فراوانی است و به عنوان روش جدیدی برای تعامل طبیعی انسان با کامپیوتر مورد توجه محققان زیادی قرار گرفته است. هدف از این پژوهش، بازشناسی هیجان، بطور خودکار از روی گفتار هیجانی و حالات چهره، مبتنی بر سازوکارهای عصبی مغز می­باشد. با توجه به مطالعات صورت گرفته در زمینه مدل­‌های الهام گرفته از مغز، یک چارچوب کلی برای بازشناسی هیجان دومدالیتی با الهام از عملکرد کورتکس شنوایی و بینایی و سیستم لیمبیک مغز ارائه می­شود. روش: مدل ترکیبی و سلسله مراتبی پیشنهادی از دو مرحله یادگیری تشکیل شده است. مرحله اول: مدل­‌های یادگیری عمیق برای بازنمایی ویژگی­‌های بینایی و شنوایی و مرحله دوم: مدل ترکیبی یادگیری هیجانی مغز (MoBEL) برای همجوشی اطلاعات شنیداری-دیداری بدست آمده از مرحله قبل. برای بازنمایی ویژگی­‌های بینایی به منظور یادگیری ارتباط مکانی بین پیکسل­‌ها و ارتباط زمانی بین فریم‌­های ویدئو از مدل شبکه عصبی یادگیری عمیق 3D-CNN استفاده می­شود و به منظور بازنمایی ویژگی­‌های شنوایی، ابتدا سیگنال گفتار به تصویر لگاریتم مل-اسپکتروگرام تبدیل شده سپس به مدل یادگیری عمیق CNN برای استخراج ویژگی­‌های مکانی-زمانی داده می­‌شود. یافته­‌ها: اطلاعات بدست آمده از دو جریان فوق به شبکه عصبی ترکیبی MoBEL داده می­شود تا با درنظر گرفتن هبستگی بین وجه­‌های بینایی و شنوایی و همجوشی اطلاعات در سطح ویژگی، کارایی سیستم بازشناسی هیجان را بهبود بخشد. نرخ بازشناسی هیجان در ویدیو با استفاده از مدل ارائه شده بر روی پایگاه داده eNterface’05 بطور میانگین 82% می­باشد. نتیجه گیری: نتایج تجربی در پایگاه داده مذکور نشان می­‌دهد که کارکرد روش پیشنهادی بهتر از روش­‌های استخراج ویژگی­‌های دستی و سایر مدل­‌های همجوشی در بازشناسی هیجان می­باشد.
     
نوع مطالعه: مروری | موضوع مقاله: روان شناسی شناختی
دریافت: ۱۳۹۸/۱۰/۲۶ | پذیرش: ۱۳۹۸/۱۰/۲۶ | انتشار: ۱۳۹۸/۱۰/۲۶

ارسال نظر درباره این مقاله : نام کاربری یا پست الکترونیک شما:
CAPTCHA

کلیه حقوق این وب سایت متعلق به تازه های علوم شناختی می باشد.

طراحی و برنامه نویسی : یکتاوب افزار شرق

© 2020 All Rights Reserved | Advances in Cognitive Science

Designed & Developed by : Yektaweb