التعرف على الكلام الصوتي من خلال تخطيط كهربية الدماغ لدى الفئران باستخدام الشبكة العصبية ذات الذاكرة الطويلة وقصيرة المدى الجزء 2

المواد والأساليب

الحيوانات

تم حساب الحد الأدنى المطلوب لحجم العينة ليكون من 11 إلى 19، في إشارة إلى الدراسات السابقة على الحيوانات التي ميزت الاستجابات العصبية للمقاطع البشرية المختلفة [12، 13، 49].

الاستجابة العصبية والذاكرة هما جانبان لا ينفصلان عن الأنشطة الفكرية البشرية. تشير الاستجابة العصبية إلى سرعة رد الفعل ودقة الدماغ البشري عند تلقي ومعالجة المعلومات الحسية المختلفة. تشير الذاكرة إلى قدرة الدماغ البشري على حفظ واسترجاع تجارب الماضي.

يعتقد الكثير من الناس أن العلاقة بين الاستجابات العصبية والذاكرة ضعيفة جدًا، لكن في الحقيقة هناك ارتباط وثيق بينهما. بالنسبة لأي شخص، في مواقف معينة، ليس من المهم فقط أن تكون قادرًا على الاستجابة بسرعة، ولكن الأهم من ذلك، الذاكرة. على سبيل المثال، عندما نواجه شيئًا مشابهًا لحالة طوارئ، فإن استجاباتنا العصبية تسمح لنا بالرد بسرعة واتخاذ الإجراءات اللازمة. في هذا الوقت، سيكون لذاكرتنا تأثير قاتل على سلامة حياتنا. لذلك، يمكن القول أن الاستجابة العصبية والذاكرة مرتبطان ببعضهما البعض، وكلاهما لا غنى عنهما.

فكيف يمكن تحسين الاستجابة العصبية والذاكرة؟ بادئ ذي بدء، لتحسين الاستجابات العصبية، يمكننا إجراء الكثير من التدريبات، مثل مجموعة متنوعة من الألعاب الرياضية، والتدريب على استجابة الجسم بالكامل، والتدريب البصري والسمعي، وما إلى ذلك. بالإضافة إلى ذلك، يمكن أيضًا تحسين الاستجابات العصبية من خلال الأكل الجيد و عادات النوم. لتحسين الذاكرة، عليك أن تكثر من دراسة القراءة وتقوية التفكير المنطقي وتدريب الذاكرة، مثل ممارسة بعض الألعاب التي تمثل تحديًا فكريًا أو التواصل مع الآخرين لتعزيز تطور تفكيرك.

وأخيرا، من المهم ملاحظة أنه يمكن تحسين الاستجابات العصبية والذاكرة. وطالما بذلنا الجهد والتدريب والتطوير المدروس، يمكننا التحسن في هذا المجال. لذلك، دعونا نتبع نهجاً إيجابياً في تنمية الاستجابات العصبية والذاكرة، وتحقيق المزيد من التقدم والنجاح في حياتنا. يمكن ملاحظة أننا بحاجة إلى تحسين ذاكرتنا. يمكن لـ Cistanche deserticola أن يحسن الذاكرة بشكل كبير لأن Cistanche deserticola هي مادة طبية صينية تقليدية لها العديد من التأثيرات الفريدة، أحدها هو تحسين الذاكرة. تأتي فعالية اللحم المفروم من المكونات النشطة المختلفة التي يحتوي عليها، بما في ذلك الأحماض والسكريات والفلافونويد وغيرها. ويمكن لهذه المكونات تعزيز صحة الدماغ بطرق مختلفة.

انقر فوق معرفة المكملات الغذائية لتحسين الذاكرة

مع الأخذ في الاعتبار كل من الصلاحية العلمية وأخلاقيات الحيوان، تم تسجيل ما مجموعه 19 من فئران سبراغ داولي الذكور (325-400 جرام، 11-13 أسبوعًا من العمر في وقت التجربة، Orient Bio Inc.، Seongnam، Korea) في الدراسة.

تم تضمين الفئران الذكور فقط في هذه الدراسة لتجنب التأثيرات المحتملة للإستروجين على مخطط كهربية الدماغ [50]. تم إيواء الحيوانات بشكل فردي في أقفاص بلاستيكية قياسية مع حرية الوصول إلى الغذاء والماء وتم الحفاظ عليها عند درجة حرارة ثابتة (21 ± 1 درجة مئوية) مع دورة الضوء / الظلام لمدة 12 ساعة.

تمت الموافقة على جميع البروتوكولات والإجراءات التجريبية من قبل لجنة رعاية واستخدام الحيوان المؤسسية (IACUC) التابعة لمعهد غوانغجو للعلوم والتكنولوجيا (GIST).

وبحسب اللجنة، فإن الدراسة تنتمي إلى وزارة الزراعة الأمريكية الفئة د؛ تم تخفيف الألم أو الضيق بشكل مناسب باستخدام التخدير و/أو المسكنات و/أو الأدوية المهدئة أو طرق أخرى لتخفيف الألم والضيق.

لذلك، تم تنفيذ جميع العمليات الجراحية ورعاية الحيوانات وفقًا لإرشاداتها لضمان الحد الأدنى من الانزعاج للحيوانات (رقم الموافقة: GIST-2019-047).

الإجراءات الجراحية

خضعت جميع الفئران لعملية زرع أقطاب كهربائية دقيقة للحصول على إشارات تخطيط كهربية الدماغ استجابة لمحفزات صوت الكلام. قبل الجراحة، تم تخدير الفئران باستخدام الأيزوفلورين (5٪) الممزوج بغاز الأكسجين (0. معدل تدفق 6 لتر / دقيقة) في غرفة الحث.

بمجرد أن فقدت الفئران منعكس اليمين، تم نقلها إلى إطار مجسم وتم تطبيق مخدر على الأنف. تمت إعادة توجيه غاز الأيزوفلوران (جرعة صيانة قدرها 1.5٪) الممزوجة بالأكسجين إلى مخروط الأنف.

بعد ذلك، يتم إدخال قضبان الأذن في قنوات الأذن لتثبيت الرأس. ثم حلقنا الفراء من الأذنين إلى ما بين العينين. تم إجراء كتلة خطية تحتوي على ليدوكائين 2% على فروة الرأس، وتم عمل شق لكشف الجمجمة.

بعد ذلك، تمت إزالة العضلات الصدغية الثنائية جزئيًا وتم إجراء بضع المثانة على كل AAF باستخدام مثقاب أسنان لإدخال أقطاب تخطيط كهربية الدماغ فوق الجافية. كان القطب عبارة عن قطب كهربائي صغير واحد تم تصنيعه خصيصًا باستخدام برغي صغير وسلك فضي وموصل. كانت إحداثيات AAF كما يلي: 4 مم خلفي، 7.6 مم جانبي، و4 مم بطني للبريجما [51].

أخيرًا، تم توصيل الأقطاب الكهربائية المزروعة بموصل متعدد الأطراف وتثبيتها في الجمجمة باستخدام أسمنت العظام. بعد الانتهاء من جميع العمليات الجراحية، تم حقن الفئران بمضاد حيوي (سيفتازول 20 ملغم / كغم، شركة غوجو فارما، كوريا) وحقنة. عامل مسكن (كيتوبروفين 2.5 ملغم / كغم، Uni Biotech، كوريا) في العضل لمدة ثلاثة أيام متتالية.

تم السماح لجميع الحيوانات بالتعافي لمدة أسبوع ومراقبتها عن كثب بحثًا عن أي علامات ألم مثل انخفاض الشهية أو الانحناء أو انتصاب الشعر.

تحفيز الكلام

من المعروف أن المعلومات الترددية لأصوات الكلام ضرورية للإدراك القاطع والتعرف على حروف العلة المختلفة [52]. بالإضافة إلى ذلك، تختلف مكونات AEP وفقًا للأصوات ذات الترددات المختلفة، ويمكن استخدام استجابات الدماغ المختلفة هذه لدراسة آليات التعرف على الصوت [9]. لذلك، تم اختيار خمسة أصوات مختلفة لنطق حروف العلة، /a/، و/e/، و/i/، و/o/، و/u/، والتي لها ترددات صيغية مميزة جدًا لكل محفز للكلام [53].

تم إنشاء جميع محفزات الكلام باستخدام برنامج تحويل النص إلى كلام المقدم من Google وتمت زيادة درجة الصوت بمقدار أوكتاف واحد باستخدام وظيفة تغيير درجة الصوت في MATLAB 2017b (Mathworks, Inc., MA, USA) لاستيعاب نطاق سماع الفئران وتطبيقه الجذر يعني التطبيع التربيعي.

تم تسليم المحفزات بواسطة مكبر صوت (SRS-X88، شركة SONY، اليابان)، والذي كان يقع فوق أحد جوانب القفص، على بعد حوالي 15 سم من رأس الجرذ، وتمت معايرة الحد الأقصى لكثافة الصوت إلى 60 ديسيبل SPL. تم تحليل صوت الكلام المتحرك وفقًا للدورة الزمنية وأطياف المعامل التنبؤي الخطي (LPC) والأطياف للتحقق من أن كل محفز له خصائصه الصوتية (انظر الشكل 1).

على الرغم من أن نظام الفئران السمعي غير محسّن لإدراك صوت حروف العلة البشرية، فقد افترضنا أنه يمكنه اكتشاف معظم المحفزات الصوتية نظرًا لأن تردد الصوت ينتمي إلى نطاق سماع الفئران، أي من 0.5 كيلو هرتز إلى 64 كيلو هرتز عند 60 ديسيبل SPL [54].

الحصول على البيانات

تم الحصول على استجابات إشارة EEG لكل حافز صوت متحرك من AAF الثنائي بعد فترة التعافي التي مدتها أسبوع واحد. أولاً، تم تخدير الفئران باستخدام الأيزوفلورين (5%) الممزوج بغاز الأكسجين (0.6 معدل تدفق لتر/دقيقة) للتحريض.

بعد أن فقدت الفئران منعكس التصحيح، تم الحفاظ على التخدير باستخدام الأيزوفلورين (1.5٪) عبر الأنف أثناء التسجيل لمنع تلوث إشارات تخطيط كهربية الدماغ من آثار الحركة. بعد ذلك، تم توصيل موصل متعدد الأطراف بجهاز تسجيل (g.USBamp وg.HEADstage، g.tec Medical EngineeringGmbH، Graz، Austria)، الذي حصل على إشارات بتردد أخذ عينات يبلغ 1200 هرتز.

تم إجراء تسجيل تخطيط كهربية الدماغ فوق الجافية لمدة 1500 ثانية لكل جلسة، حيث تم خلالها عرض أصوات الحروف المتحركة الخمسة بشكل عشوائي لكل فأر من خلال مكبر الصوت التجريبي. ظهر كل محفز خطابي 130-150 مرة لكل محفز في جلسة واحدة.

للحصول على بيانات EEG كافية، تم تكرار جلسة التسجيل لمدة خمسة أيام متتالية. تم إجراء جميع التسجيلات في حجرة عازلة للصوت لزيادة نسبة الإشارة إلى الضوضاء (SNR) إلى الحد الأقصى. يظهر الرسم التخطيطي للتجربة في الشكل 2.

المعالجة المسبقة لإشارة EEG وتحليلها

تم تحليل إشارات EEG المكتسبة استجابةً لكل صوت حرف علة باستخدام FieldTriptoolbox [55] في MATLAB 2017b (Mathworks، Inc.، MA، USA). في الخطوة الأولى، تم أخذ عينات من بيانات EEG الخام من 1200 إلى 250 هرتز وتم ترشيح تمرير النطاق في نطاق التردد من 1 إلى 60 هرتز.

بعد ذلك، تم تقسيم بيانات تخطيط كهربية الدماغ المستمرة إلى تجارب خاصة بالتحفيز مع فترة ما قبل التحفيز تبلغ 500 مللي ثانية وفترة ما بعد التحفيز تبلغ 1500 مللي ثانية. تم إجراء تصحيح خط الأساس على أساس فترة ما قبل التحفيز. للتخلص من القطع الأثرية المتبقية، تم رفض التجارب الملوثة يدويًا باستخدام طرق الفحص البصري.

بعد المعالجة المسبقة، تم حساب متوسط ​​بيانات تخطيط كهربية الدماغ (EEG) الخالية من العناصر الاصطناعية لكل حافز كلام لإنشاء أشكال موجية AEP، وتم حساب معدل الخصوبة الإجمالي (TFR) لأشكال الموجات ذات المتوسط ​​الكبير.

تم إجراء تحليل معدل الخصوبة الإجمالي (TFR) بناءً على مويجات مورليت لتقييم التغيرات الديناميكية في القدرة الطيفية مع مرور الوقت لكل محفز للكلام. باستخدام الأشكال الموجية AEP ذات المتوسط ​​الكبير وTFR الخاصة بها، تم تحديد نطاق الوقت أو التردد الذي يعكس بشكل أساسي استجابة الدماغ لتحفيز الكلام. في حالة تحليل معدل الخصوبة الإجمالي، تم إجراء تحليل التباين (ANOVA) وتصحيح بونفيروني لتحديد الأهمية الإحصائية بين معدلات الخصوبة الإجمالية لإشارات EEG لكل محفز للكلام [48].

من خلال هذه النتائج، تمت إعادة تنظيم بيانات تخطيط كهربية الدماغ (EEG) المعالجة مسبقًا لاستخدامها لاحقًا في التصنيف. للتأكد من أن البيانات المعاد بناؤها ذات معنى، تم تقييد نطاقات الوقت والتردد لجميع تجارب تخطيط كهربية الدماغ. تم ضبط النطاق الزمني على 0.2–0.8 ثانية وتم ضبط نطاق التردد على 1–60 هرتز. بعد إعادة تعريف نطاقات الوقت والتردد، تم تطبيع جميع تجارب مخطط كهربية الدماغ باستخدام تطبيع Z-score، وهي طريقة شائعة الاستخدام لتقليل التباين بين التجارب مع الحفاظ على اتجاه مماثل داخل التجارب [56، 57].

من المعروف أن أداء التصنيف العام قد تحسن بعد تطبيع درجة z [56]. بعد ذلك، تم خلط مجموعة البيانات المقيسة على مستوى z عشوائيًا وفصلها إلى مجموعة تدريب (90%) ومجموعة اختبار (10%) لاستخدامها كمدخلات للتعلم العميق ومصنفات التعلم الآلي لتصنيف التعرف على الكلام.

شبكات الذاكرة طويلة المدى وثنائية الاتجاه

LSTM عبارة عن بنية خاصة للشبكة العصبية المتكررة (RNN) تتغلب على مشكلة التدرج التلاشي/الانفجار من خلال دمج هياكل البوابة التي تتحكم في حالة خلايا الذاكرة [46، 58].

لهذا السبب، أظهرت LSTM أداء مستقرًا وقويًا لنمذجة التبعيات طويلة المدى في مجموعة متنوعة من المهام الزمنية أو المتسلسلة [46، 58-61]. يظهر هيكل LSTM في الشكل 3A. يتمثل الاختلاف الرئيسي بين RNN التقليدي وLSTM في خلية الذاكرة، ct، التي يمكنها الحفاظ على معلومات الحالة التي يتم تعديلها بواسطة ثلاثة أنواع من البوابات ذاتية المعلمة: بوابة الإدخال، وبوابة النسيان ft، وبوابة الإخراج.

تقرر بوابة الإدخال ما إذا كان سيتم تجميع مدخلات جديدة في خلية الذاكرة؛ يمكن لبوابة النسيان ft تجاهل الحالة السابقة لخلية الذاكرة، ct−1؛ وتنظم بوابة الإخراج انتشار الإخراج من خلية الذاكرة الحالية ct إلى استجابة الإخراج ht. يتم وصف المعالجة الرئيسية لـ LSTM بالمعادلات التالية:

ð6Þحيث σ وtanh هما دوال تنشيط غير خطية. يتم استخدام الدالة السيني اللوجستية، المعرفة كـσ(x)=1/(1+e−x) كوظيفة تنشيط البوابة، ووظيفة الظل الزائدي،tanh(x)=( يستخدم ex−e−x)/(ex+e−x) كوظيفة تنشيط الإدخال والإخراج للكتلة. تتم الإشارة إلى الضرب العنصري لمتجهين بواسطة �؛ يمثل W، R مصفوفات الوزن، ويشير b إلى متجه التحيز، وهي معلمات قابلة للتعلم تتحكم في كل منها

تم إثبات te.LSTM كبنية قوية للتعامل مع البيانات المتسلسلة [59]؛ ومع ذلك، فإن معيار LSTM يلتقط فقط المعلومات السابقة من التسلسل في الاتجاه الأمامي. تم تنفيذ BiLSTM لتحسين الهيكل.

BiLSTM هو نوع من إصدار LSTM لـ RNN ثنائي الاتجاه [47، 62]. لديها طبقتين من LSTM، كما هو مبين في الشكل 3B؛ يقوم أحدهم بمعالجة المعلومات في الاتجاه الأمامي بينما يقوم الآخر بمعالجتها في الاتجاه الخلفي.

ومن خلال الوصول إلى المعلومات الماضية والمستقبلية، يمكن لهذه الهياكل التقاط معلومات غنية من تسلسل. ومن ثم، تظهر الأدبيات الموجودة أن أداء BiLSTM أفضل من LSTM القياسي في تصنيف إشارات EEG وفقًا لكل مهمة.

7).في هذه الدراسة، تم استخدام شبكة BiLSTM لتصنيف خمسة أصوات مختلفة لأحرف العلة باستخدام إشارات EEG ذات أساس تجريبي واحد. تم تعيين طبقة BiLSTM تحتوي على 600 وحدات LSTM ولتجنب التجهيز الزائد، تم ضبط نسبة التسرب في طبقات LSTM على 0.3 [68].

بعد طبقات LSTM، تم ربط الحالات المخفية في الطبقة المتصلة بالكامل باستخدام وظيفة تنشيط softmax، المستخدمة في التصنيف متعدد الفئات. تم اعتماد الإنتروبيا القاطعة كدالة الخسارة مع مُحسِّن ADAM [69] وتم ضبط معدل التعلم الأولي واضمحلال معدل التعلم على 1e-3 و1e-6، على التوالي. علاوة على ذلك، تم تدريب النموذج على 500 حقبة وحجم دفعة 64. وصل منحنى التعلم إلى هضبة مستقرة خلال 500 حقبة.

hs.تم تعديل هذه المعلمات المفرطة لتناسب النموذج مع البيانات بشكل أفضل. تم استخدام 10-foldcross-validation (10-CV) الطبقي لتقييم أداء النموذج. يعد التحقق من الصحة عبر k-fold طريقة فعالة لاختبار معدل نجاح النماذج المستخدمة للتصنيف ويعتبر k=10 بشكل عام المعلمة الأكثر منطقية في التعلم الآلي التطبيقي.

تم تنفيذ النموذج باستخدام مكتبة Keras [71] مع واجهة TensorFlow الخلفية [72] ومكتبة Scikit-Learn [73] في Python.

For more information:1950477648nn@gmail.com