מתורגמן מקוון לשפת הסימנים

ההישגים האחרונים של מומחי CV (קורות חיים) נותנים הזדמנות לאנשים עם לקויות שמיעה או דיבור לתקשר בצורה חלקה ונוחה.

זיהוי מילים של שפת הסימנים מתבצע על פי האלגוריתם:

מידע על המיקום המרחבי של חלקי הגוף מתקבל באמצעות מודלים הוליסטיים של MediaPipe. המודל מקבל תמונה כקלט, מחפש אנשים בתמונה ובונה שלד אנושי עם נקודות במרחב תלת מימדי.

הכנת מידע: מידע ראשוני מאפשר להגדיר מילים, אך בשל השונות העצומה של התנועות במרחב התלת מימדי, הדבר אפשרי רק למספר מצומצם ביותר של מילים. התוצאה של ביצוע טרנספורמציות על המידע הראשי היא וקטור המכיל את הכמות המקסימלית של מידע שימושי (עבור פריים וידאו אחד) עם שימוש מינימלי בשטח.

וקטור אחד מאפיין את המיקום של חלקי גוף אנושיים על פריים וידאו אחד.

דיבור לטקסט;

האלגוריתם מיושם עבור 2 שפות: רוסית ואנגלית.