طراحی سامانه‌ی تعاملی تشخیص حروف ایستای زبان اشاره‌ی آمریکایی مبتنی بر Mediapipe، ماشین بردار پشتیبان و پس‌پردازش زبانی

نوع مقاله : مقاله مستقل

نویسندگان
دانشگاه خوارزمی
10.22034/mmr.2026.137468.0
چکیده
تبدیل خودکار زبان اشاره به متن نقش مهمی در تسهیل ارتباط میان افراد ناشنوا و جامعه ایفا می‌کند. در این پژوهش، یک سامانه بلادرنگ برای تشخیص حروف ایستای زبان اشاره آمریکایی ارائه شده است. برای ایجاد مجموعه‌داده، بیش از ۶۸ هزار نمونه از ۲۴ حرف ایستای زبان اشاره آمریکایی با استفاده از وب‌کم و MediaPipe در شرایط مختلف شامل تغییر زاویه، مقیاس و جهت دست توسط دو فرد جمع‌آوری شد. در مرحله استخراج ویژگی، ۲۱ نقطه کلیدی دست به‌همراه ویژگی‌های هندسی شامل زوایای بین انگشتان و فاصله مفاصل تا مچ استخراج گردید. داده‌ها با نسبت ۸۰/۲۰ به آموزش و آزمون تقسیم و استانداردسازی شدند. برای طبقه‌بندی از ماشین بردار پشتیبان با بهینه‌سازی بیزی استفاده شد که روی مجموعه آزمون حاصل از تقسیم تصادفی داده‌های همان دو فرد، به دقت ٪۹۹/۰۵ دست یافت. در ارزیابی مستقل روی فرد سومی که هیچ نمونه‌ای از او در آموزش و تنظیم مدل به کار نرفته بود، دقت به ٪۸۲/۲۷ کاهش یافت که نشان‌دهنده تعمیم‌پذیری محدود به کاربران جدید است. همچنین برای افزایش خوانایی خروجی، لایه پس‌پردازش شامل اصلاح املایی و استخراج کلیدواژه افزوده شد. سامانه پیشنهادی در شرایط مشابه داده آموزشی دقت بالا و خروجی قابل فهم ارائه می‌دهد، اما به حروف ایستا محدود است و تعمیم آن به افراد جدید نیازمند گسترش مجموعه‌داده است.
کلیدواژه‌ها
موضوعات

عنوان مقاله English

Design of an Interactive Static American Sign Language Fingerspelling Recognition System Based on MediaPipe, Support Vector Machine, and Linguistic Post-Processing

نویسندگان English

Mohammad Parsa Tavassoli
Keivan Borna
Kharazmi University
چکیده English

Automatic conversion of sign language into text plays an important role in facilitating communication between deaf individuals and society. In this research, a real-time system for recognizing static American Sign Language letters is presented. To create the dataset, more than 68,000 samples of 24 static American Sign Language letters were collected by two individuals using a webcam and MediaPipe under various conditions including changes in hand angle, scale, and orientation. In the feature extraction stage, 21 hand key points along with geometric features including angles between fingers and distances from joints to the wrist were extracted. The dataset was divided into training and test sets with an 80/20 split, followed by standardization. In the classification stage, a Support Vector Machine with Bayesian optimization was used, achieving an accuracy of 99.05% on the test set drawn from the same two individuals. In an independent evaluation on a third individual whose samples were never used in training or tuning, the accuracy dropped to 82.27%, indicating limited generalization to new users. Furthermore, to improve output readability, a post-processing layer including spell correction and keyword extraction was added. The proposed system provides high accuracy under conditions similar to the training data and readable output; however, it is limited to static letters and its generalization to unseen signers requires a larger and more diverse dataset.

کلیدواژه‌ها English

Sign Language Recognition
MediaPipe
Support Vector Machine
KeyBERT
Machine Learning
Natural Language Processing
American Sign Language

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 27 آبان 1405