التعرف على إشارات المرور بناءً على خوارزمية YOLOv3 الجزء الثالث

3.3. إنشاء إطارات بريوري بناءً على خوارزمية التجميع K-Means

تم تنفيذ آلية التثبيت في YOLOv2، وتمت زيادة عدد نقاط التثبيت إلى تسعة في YOLOv3 لجعل المناطق المرشحة التي تم إنشاؤها أكثر تشابهًا مع الإطارات ذات العلامات الأصلية وتعزيز استدعاء شبكة الكشف.

هناك علاقة قوية بين الإطارات المحددة والذاكرة. يمكن أن تساعدنا إطارات العلامات في إنشاء إطار ذاكرة ثابت ومنتظم ومنظم، مما يسهل حفظ كميات كبيرة من المعلومات. على سبيل المثال، عند تعلم لغة ما، يمكننا استخدام إطارات محددة لحفظ الكلمات الجديدة والقواعد النحوية. عند مراجعة التاريخ، يمكننا استخدام الإطارات المحددة لحفظ الأحداث التاريخية والجداول الزمنية. بهذه الطريقة، يمكننا أن نجعل المعرفة المجردة أكثر واقعية ومفهومة.

وفي الوقت نفسه، يمكن لإطارات العلامات أيضًا أن تحفز القدرة الترابطية لعقلنا، وبالتالي تعزيز ذاكرتنا. نظرًا لأن ذاكرتنا تعتمد على الارتباط والاتصال، فمن خلال إنشاء إطارات محددة، يمكننا ربط المعرفة الجديدة بشكل طبيعي بالمعرفة الموجودة، مما يؤدي إلى تعميق الذاكرة والفهم.

يمكن تدريب وتحسين قدرة الذاكرة البشرية. من خلال الممارسة المستمرة واستخدام تقنيات الذاكرة مثل وضع العلامات على الإطارات، يمكننا تحسين ذاكرتنا والتعامل بشكل أفضل مع المعلومات والمهام المعقدة في الحياة والعمل.

باختصار، يعد وضع علامات على الإطارات أسلوبًا فعالاً للغاية في الذاكرة. يمكن أن يساعدنا على تذكر المعلومات المهمة بسرعة أكبر وبدقة أكبر. ويمكنه أيضًا تحفيز قدرتنا النقابية وتحسين ذاكرتنا. دعونا نستخدم الإطارات المميزة بنشاط لتحسين مهارات الذاكرة لدينا بشكل مستمر! يمكن ملاحظة أننا بحاجة إلى تحسين الذاكرة، ويمكن لـ Cistanche deserticola أن يحسن الذاكرة بشكل كبير لأن Cistanche deserticola هي مادة طبية صينية تقليدية لها العديد من التأثيرات الفريدة، أحدها هو تحسين الذاكرة. تأتي فعالية اللحم المفروم من المكونات النشطة المختلفة التي يحتوي عليها، بما في ذلك الأحماض والسكريات والفلافونويد وغيرها. ويمكن لهذه المكونات تعزيز صحة الدماغ بطرق مختلفة.

انقر فوق "معرفة" لتحسين الذاكرة قصيرة المدى

لم يكن من المناسب استخدام المرساة الأصلية، نظرًا لأن إشارات المرور هي في المقام الأول أهداف صغيرة ومتوسطة، مع عدد أقل من الأهداف الكبيرة في مجموعة بيانات TT100K. بالنسبة لمجموعة بيانات محددة، يمكن أن يؤدي اختيار نقطة ارتساء أولية مناسبة إلى تحسين تأثير الاكتشاف، وتسهيل تعلم الشبكة، وزيادة معدل اكتشاف المربع المحيط.

يظهر الشكل 7 تدفق خوارزمية التجميع للوسائل K للحصول على الصناديق المرشحة.

في مجموعة بيانات TT100K، تضمنت بنية شبكة YOLOv3 المحسنة مقياسًا للتنبؤ بالميزات، مما أدى إلى أربعة مقاييس واثني عشر نقطة ارتساء: (4، 5)، (5، 6)، (7، 7)، (7، 13)، (8، 8)، (9، 10)، (11، 12)، (13، 14)، (16، 17)، (20، 22)، (27، 29)، (41، 44).

4. التجارب وتحليل النتائج

4.1. مجموعة البيانات ومؤشرات التقييم

هناك عدد قليل من مجموعات بيانات إشارات المرور الكبيرة والمتاحة للجمهور، ومعظمها يستخدم GTSDB، لكن GTSDB ليس مثل إشارات المرور الصينية. CTSDB، وCCTSDB، وTT100K، من بين آخرين، هي مجموعات بيانات إشارات المرور الصينية.

تم توسيع CCTSDB بناءً على CTSDB، وتم تقسيم فئاتها إلى إشارات تحذيرية، وإشارات اتجاهية، وإشارات محظورة، دون تصنيف تفصيلي للإشارات المرورية.

تم إنشاء مجموعة إشارات المرور TT100K بالتعاون بين Tencent وجامعة تسينغهوا. لقد قدم تصنيفًا شاملاً وتحديدًا لإشارات المرور، وغطى مختلف الظروف المناخية والإضاءة، وكان أكثر دقة لمواقف القيادة الفعلية.

ولذلك، تم استخدام مجموعة بيانات إشارة المرور TT100K في هذه الورقة، وتظهر بعض إشارات المرور ومعلومات الفئة في الشكل 8.

تحتوي مجموعة بيانات TT100K على 100000 صورة بدقة 2048 × 2048 بكسل، على الرغم من وجود صور إشارات المرور غير المسماة، وبعض الفئات تحتوي فقط على عدد قليل من الصور أو الصور المكررة، مما يقلل من تأثير الاكتشاف.

لذلك، قامت هذه الورقة بإزالة صور إشارات المرور غير المُسماة والمكررة من مجموعة البيانات واختيار 45 فئة ذات عدد كبير من إشارات المرور، حيث كانت فئات إشارات المرور الـ 45 هي: pn، pne، i5، pll، pl40، po، pl50، pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5، ث59، ص12، ص3، ث55. PM20، PL20، PG، PL70، PM55، IL100، P27، W13، P19، ph4، ph5، wo، p6.pm30، وw32، ويظهر رقم كل فئة من فئات إشارات المرور في الشكل 9.

ويبين الشكل 9 أنه حتى لو تم اختيار 45 فئة تحتوي على عدد كبير من إشارات المرور، فلا يزال هناك خلل كبير في كمية البيانات بين كل فئة، مما يؤدي إلى ضعف دقة التنبؤ بالنموذج. ونتيجة لذلك، وكما هو موضح في الشكل 10، فقد قام هذا العمل بموازنة مجموعة البيانات وتوسيعها من خلال استخدام تكتيكات مثل ثبات الألوان، والضوضاء الغوسية، وتدوير الصورة لضمان أن يكون مقدار كل فئة متساويًا قدر الإمكان.

يقرأ أسلوب الفسيفساء أربع صور في المرة الواحدة، ويقيس ويغير التدرج اللوني لكل صورة، ويرتبها في أربعة اتجاهات، ثم يجمع الصور معًا لإنشاء الإطار الحقيقي للهدف.

تقوم طريقة التحسين بدمج أربع صور، أي ما يعادل حساب معلمات أربع صور بإدخال واحد. يمكن أن يؤدي ذلك إلى تقليل عدد الصور لإدخال الدُفعات، وتقليل صعوبة التدريب وتكلفة التدريب، وتحسين سرعة التدريب، وإثراء عدد العينات في مجموعة البيانات إلى حد كبير، مما يساعد على التعلم.

في هذه الورقة، تم استخدام مقاييس التقييم لمجموعة بيانات COCO، بما في ذلك mAPou - 050APs وAPM وAP والعديد من المقاييس الأخرى، لتقييم أداء النموذج. على وجه الخصوص، تنتمي معظم إشارات المرور في مجموعة بيانات إشارات المرور TT100K إلى أهداف صغيرة، لذلك يجب إيلاء اهتمام خاص لدقة اكتشاف الأهداف الصغيرة. المعاني المحددة لمقاييس التقييم هي كما يلي:

AP: المنطقة الواقعة أسفل منحنى PR، حيث PR هي الدقة والتذكر، على التوالي:

API {{0}}.50: عند تعيين حد IoU على 0.50، يكون متوسط ​​جميع فئات AP في مجموعة البيانات، وهو مؤشر التقييم لمجموعة بيانات PASCAL VOC ويتوافق إلى APIoU=0.50 في فهرس تقييم COCOmAPloU= 0.50: عند تعيين عتبة loU على 0.50، يكون متوسط ​​جميع فئات AP في مجموعة البيانات، وهو مؤشر التقييم لـ مجموعة بيانات PASCAL VOC وتتوافق مع APloU=0.5 في فهرس تقييم COCO.

نقاط الوصول: متوسط ​​قيمة mAP للأجسام الصغيرة: المساحة < 322، ونطاق loU=(0.5، 1.00، 0.05)للإجمالي من 10 أوس.

APm: الكائنات المتوسطة: 322 < المساحة < 962، ونطاق loU=(0.5، 1.00، 0.05) متوسط ​​قيمة mAP لـ إجمالي 10 وحدة دولية.

AP: متوسط ​​قيمة mAP للأجسام الكبيرة: المساحة > 962، ونطاق loU=(0.5, 1.00, 0.05 بإجمالي 10 وحدات الملكية الفكرية.

4.2. النتائج التجريبية والتحليل

4.2.1. تجربة مقارنة YOLOv3 محسنة

تمت مقارنة واختبار ثلاث شبكات YOLOv3 ذات طرق محسنة في هذه الدراسة، باستخدام مجموعة بيانات إشارة المرور TT100K وصور الإدخال التي يبلغ حجمها 608 × 608 بكسل. يعرض الشكل 11 الخريطة والواقع المعزز لـ M-YOLOv3 الذي تم تدريبه على مجموعة بيانات TT100.

تظهر نتائج الكشف لأحجام مختلفة من الأهداف في الشكل 12 والجدول 1. من بينها، اعتمدت YOLOv3-DK استراتيجية تحسين خسارة دالة الخسارة DIoU ومرساة إعادة التجميع؛ YOLOv3- اعتمدت SPP إستراتيجية مساحة الاندماج لهيكل التجميع الهرمي؛ اعتمد YOLOv3-4l استراتيجية إضافة طبقة ميزات التنبؤ الرابعة بمقياس 152 × 152؛ وكان M-YOLOv3 هو هيكل شبكة YOLOv3 باستخدام جميع الاستراتيجيات المحسنة.

يوضح الجدول 1 والشكل 12 أن متوسط ​​دقة YOLOv3 الأصلية دون استخدام أي استراتيجيات كان 68.9%. في المقابل، بلغت نسبة خريطة YOLOv3 التي تمت ترقيتها بجميع الطرق 77.3%، وهو تحسن بنسبة 8.4% في الكشف.

أدت وظيفة فقدان DIoU وتقنية تثبيت إعادة التجميع إلى تعزيز دقة الكشف بنسبة 1.3%؛ ومع ذلك، كان التحسن بسبب تقارب وظيفة الخسارة بشكل أسرع أثناء التدريب، مما جعل انحدار المربع المستهدف أكثر استقرارًا وحسن معدل الاستدعاء. شوهدت تحسينات أكثر وضوحًا في mAP في YOLOv3، والتي تضمنت بنية SPP وحققت 73.2%.

يجمع هيكل SPP بين الخصائص المحلية والعالمية، مما يعزز قدرة خريطة المعالم على التعبير عن نفسها ويزيد من دقة الكشف بشكل كبير. وباستخدام طريقة إضافة طبقة ميزات تنبؤ رابعة بمقياس 152 × 152، تم أيضًا تحسين AP بشكل كبير.

تم تعزيز دقة اكتشاف الأهداف الصغيرة بنسبة 10.5% مقارنةً بـ YOLOv3، الذي استفاد بشكل كامل من الميزات الضحلة في الشبكة للتنبؤ بالأهداف الصغيرة، مما أدى إلى تحسين تأثير الكشف بشكل كبير، ولكن على حساب زيادة تعقيد الشبكة ومعالجتها . كان أفضل تحسين هو M-YOLOv3، الذي جمع بين إجراءات التحسين الثلاثة وحقق خريطة 77.3%، وهي أعلى بنسبة 8.4% من متوسط ​​دقة YOLOv30 الأصلي. ويصور الشكل 13 نتائج اختبار M-YOLOv3 على TT100K.

4.2.2. مقارنة خوارزمية YOLOv3 المحسنة مع خوارزميات أخرى

تمت مقارنة M-YOLOv3 مع العديد من خوارزميات الكشف عن الهدف الكلاسيكية الأخرى لمزيد من التحقق من صحة التعرف على اكتشاف الشبكة المحسنة، وتظهر النتائج في الجدول 2.

يوضح الجدول 2 أن M-YOLOv3 كان لديه أعلى mAP بنسبة 77.3%، وكان SSD أفضل أداء في الوقت الفعلي، مع معدل إطار في الثانية قدره 42. بالمقارنة مع خوارزمية YOLOv3 الأصلية، تم تحسين متوسط ​​الدقة بشكل كبير، على الرغم من أن الوقت الحقيقي تم تخفيض الأداء. بالمقارنة مع خوارزمية SSD ذات المرحلة الواحدة، تحسنت mAP بنسبة 12%، ولكن لا تزال هناك فجوة في الأداء في الوقت الفعلي. بالمقارنة مع خوارزمية اكتشاف الهدف ذات المرحلتين Faster-RCNN، تم تحسين FPS إلى 22، كما تم تحسين mAP أيضًا بنسبة 1.7%، مما أدى إلى تحسين سرعة الكشف، فضلاً عن دقة الكشف. وأظهرت التجارب أن أداء M-YOLOv3 كان أفضل من حيث دقة الكشف وسرعته.

4.2.3. تحسين تأثير التعرف على YOLOv3 على إشارات المرور في بيئة خاصة

نظرًا لعوامل مختلفة، مثل إشعاع الضوء القوي، أثناء الليل، والبيئات الخاصة لانسداد إشارات المرور، والتي ستؤثر على اكتشاف إشارات المرور والتعرف عليها في سيناريوهات القيادة في العالم الحقيقي، كان من الضروري أيضًا مراعاة تأثير التعرف على النموذج على إشارات المرور في بيئات خاصة. وفي ظروف معينة، تم استخدام نموذج YOLOv3 الذي تمت ترقيته للتعرف على إشارات المرور، كما هو موضح في الشكل 13.

في الشكل 14، تتم مقارنة تأثير اكتشاف YOLOv3 مع تأثير M-YOLOv3 في بيئة خاصة. كما هو مبين في الشكل 14 (ب1، ج1)، فشلت خوارزمية YOLOv3 في اكتشاف إشارة المرور المحجوبة في حالة وجود إشارة مرور محجوبة، في حين حددت خوارزمية YOLOv3 المحسنة بدقة علامة المرور المحجوبة؛ كما هو مبين في الشكل 14 (ب2، ج2)، واجهت خوارزمية YOLOv3 مشاكل في الكشف الخاطئ والكشف المفقود للتعرف على إشارات المرور في بيئة تشعيع الضوء القوي، في حين تعرفت خوارزمية YOLOv3 المحسنة على جميع إشارات المرور بدقة.

أدت خوارزمية YOLOv3 المحسنة إلى زيادة مقياس التنبؤ بالميزة الرابعة للأهداف الصغيرة، مما أدى إلى تحسين تأثير اكتشاف الأهداف الصغيرة، في حين واجهت خوارزمية YOLOv3 مشكلات تتعلق بالاكتشاف المفقود وانخفاض الثقة للأهداف الصغيرة، كما هو موضح في الشكل 14(ب3،ج3)؛ في البيئات ذات الإضاءة الخافتة، مثل الليل، تعرفت خوارزمية YOLOv3 التي تمت ترقيتها على إشارات المرور، كما هو موضح في الشكل 14(b4,c4)؛ لكن طريقة YOLOv3 لم تكتشف الأهداف. ونتيجة لذلك، في ظل مواقف معينة، لا تزال خوارزمية YOLOv3 المحدثة تحقق نتائج اكتشاف أفضل.

5. الاستنتاجات

تم اقتراح شبكة للكشف عن الإشارات المرورية والتعرف عليها بناءً على YOLOv3 المعدلة في هذا البحث، لمعالجة الصعوبات التي تواجهها الأهداف الصغيرة التي يصعب اكتشافها وانخفاض دقة الكشف في مهام الكشف عن الإشارات المرورية وتحديد هويتها.

مكّن هيكل التجميع الهرمي المكاني الجديد من دمج الميزات المحلية والعالمية في هذه الدراسة، بالإضافة إلى زيادة مقياس التنبؤ بالميزة الرابعة للأهداف الصغيرة لتحسين تأثير اكتشاف الأهداف الصغيرة. ولجعل انحدار الإطار المستهدف أكثر استقرارًا، تم استخدام خسارة DIoU، والتي كانت ذات تقارب أسرع وكانت أكثر اتساقًا مع انحدار الإطار المستهدف.

تم تحسين دقة شبكة الكشف بشكل كبير عن طريق إتلاف شبكة الوقت الفعلي بأقل قدر ممكن. ارتفع MAP بمقدار 8.4 نقطة. عززت خوارزمية YOLOv3 التي تمت ترقيتها من تعقيد الشبكة وخفضت سرعة الكشف. ومع ذلك، فإن الكشف في الوقت الحقيقي لا يزال بعيد المنال؛ ولذلك، فإن مجال البحث التالي سيكون تعزيز سرعة الكشف لتحقيق تأثير الكشف في الوقت الحقيقي.

مساهمات المؤلف: المنهجية وكتابة المسودة الأصلية، AL وCG؛ التحليل والتحقيق الرسمي، YS؛ تنظيم البيانات، NX؛ الموارد، AL؛ التحقق من الصحة، WH لقد قرأ جميع المؤلفين النسخة المنشورة من المخطوطة ووافقوا عليها.

التمويل: تم دعم هذا المشروع من قبل برنامج ابتكار العلوم والتكنولوجيا للشباب في مجال التعليم العالي في مقاطعة شاندونغ (المنحة رقم 2019KJB019)، ومؤسسة العلوم الطبيعية في مقاطعة شاندونغ الصينية (المنحة رقم ZR2021MF131، وZR2015EL019، وZR2020ME126)، والمؤسسة الوطنية للعلوم الطبيعية في الصين. الصين (المنحة رقم 61601265 و51505258). تم تمويل هذا المشروع من قبل المؤسسة الصينية لعلوم ما بعد الدكتوراه (المنحة رقم 2021M701405)، المشروع المفتوح لمختبر الدولة الرئيسي للسلوك الميكانيكي وسلامة أنظمة هياكل هندسة المرور، الصين (المنحة رقم 1903)، المشروع المفتوح للسلامة والتحكم المروري في خبي المختبر الرئيسي، الصين (رقم المنحة JTKY2019002)، ومشروع الابتكار العلمي والتكنولوجي الرئيسي في مقاطعة شاندونغ (رقم المنحة 2022CXGC020706).

بيان مجلس المراجعة المؤسسية: لا ينطبق.

بيان الموافقة المستنيرة: لا ينطبق.

بيان توفر البيانات: لا ينطبق.

شكر وتقدير: نشكر جميع المؤلفين على مساهماتهم في كتابة هذا المقال.

تضارب المصالح: المؤلفون يعلنون عدم وجود تضارب في المصالح.

مراجع

1. دي لا إسكاليرا، أ.؛ أرمينجول، جي إم؛ ماتا، م. التعرف على إشارات المرور وتحليلها للمركبات الذكية. صورة فيس. حساب. 2003،21، 247-258. [المرجع المتقاطع]

2. سعدنا، ي.؛ بهلول، أ. نظرة عامة على طرق الكشف عن الإشارات المرورية وتصنيفها. كثافة العمليات. J. متعدد الوسائط. معلومة. ريتر. 2017، 6،193-210. [المرجع المتقاطع]

3. بومدين، م.؛ كوديل، C.؛ باسط، م. Ouamri، A. الكشف عن إشارات المرور المثلثية بناءً على خوارزمية RSLD. ماخ. فيس. أبل.2013، 24، 1721-1732. [المرجع المتقاطع]

4. مالدونادو-باسكون، إس. لافوينتي أرويو، إس؛ جيل جيمينيز، ب. جوميز مورينو، هـ؛ Lopez-Ferreras, F. كشف علامات الطريق والتعرف عليها بناءً على آلات ناقل الدعم. IEEE ترانس. إنتل. Transp. النظام. 2007، 8، 264-278. [المرجع المتقاطع]

5. بهلمان، سي.؛ تشو، Y.؛ راميش، V.؛ بيلكوفر، م. Koehler، T. نظام للكشف عن إشارات المرور وتتبعها والتعرف عليها باستخدام معلومات اللون والشكل والحركة. في وقائع إجراءات IEEE. ندوة المركبات الذكية، 2005، لاس فيجاس، نيفادا، الولايات المتحدة الأمريكية، 6-8 يونيو 2005؛ ص 255-260.

6. رن، س.؛ هو، ك. جيرشيك، ر. صن، جي. أسرع R-CNN: نحو اكتشاف الكائنات في الوقت الفعلي باستخدام شبكات اقتراح المنطقة. المعلومات العصبية. عملية. النظام. 2015، 28، 91-99. [CrossRef] [مجلات]

7. ليو، دبليو؛ أنجيلوف، د.؛ إرهان، د.؛ سيجيدي، سي. ريد، س. فو، C.-Y.؛ بيرج، AC SSD: كاشف MultiBox ذو اللقطة الواحدة. في المؤتمر الأوروبي حول رؤية الكمبيوتر؛ سبرينغر: شام، سويسرا، 2016؛ ص 21-37.

8. ريدمون، ج.؛ ديفالا، س.؛ جيرشيك، ر. فرهادي، أ. أنت تنظر مرة واحدة فقط: الكشف الموحد عن الأشياء في الوقت الفعلي. وفي وقائع مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط، لاس فيجاس، نيفادا، الولايات المتحدة الأمريكية، 27-30 يونيو 2016؛ IEEE: بيسكاتواي، نيوجيرسي، الولايات المتحدة الأمريكية، 2016؛ ص 779-788.

9. وانغ، Z .؛ Guo، H. بحث حول اكتشاف إشارات المرور بناءً على الشبكة العصبية التلافيفية. وفي وقائع الندوة الدولية الثانية عشرة حول اتصالات وتفاعل المعلومات المرئية، شنغهاي، الصين، 20-22 سبتمبر 2019؛ ص 1-5.

10. هان، سي. جاو، ج.؛ Zhang، Y. الكشف عن إشارات المرور الصغيرة في الوقت الفعلي باستخدام RCNN الأسرع المنقح. الوسائط المتعددة. تطبيق الأدوات 2019، 7813263–13278. [المرجع المتقاطع]

11. تشانغ، J .؛ هوانغ، م. جين، إكس؛ Li، X. خوارزمية الكشف عن إشارات المرور الصينية في الوقت الفعلي استنادًا إلى YOLOv2 المعدلة. الخوارزميات2017، 10، 127. [CrossRef]

12. تشو، Z .؛ ليانغ، د.؛ تشانغ، S.؛ هوانغ، X.؛ لي، ب. Hu، S. الكشف عن إشارات المرور وتصنيفها في البرية. وفي وقائع مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط لعام 2016، لاس فيغاس، نيفادا، الولايات المتحدة الأمريكية، 27-30 يونيو 2016؛ ص 2110-2118.

For more information:1950477648nn@gmail.com