פיתוח ישראלי חדשני: Signsability – מערכת ללימוד ותרגום של שפת הסימנים הישראלית

קרדיט צילום: יח"צ SCE

סטודנטים להנדסת תוכנה ב – SCE המכללה האקדמית להנדסה ע"ש סמי שמעון פיתחו את Signsability, מערכת פורצת דרך ללימוד ותרגום של שפת הסימנים הישראלית (שס"י). המערכת נועדה לצמצם את פערי התקשורת בין קהילת החרשים וכבדי השמיעה בישראל לבין האוכלוסייה הכללית ולהתאים את לימוד שפת הסימנים לכל אחד.

המכללה הטכנולוגית באר שבע
המכללה הטכנולוגית באר שבע

המערכת עושה שימוש בטכנולוגיות מתקדמות של למידת מכונה ועיבוד תמונה, ומספקת למשתמשים פידבק בזמן אמת על דיוק התנועות שלהם. כמו כן, המערכת מאפשרת תרגום מיידי של מילים משפת הסימנים לשפה הכתובה והתוצאות מבטיחות: 91% דיוק בזיהוי מילים!

הנתונים נאספו על ידי צוות הפרויקט ואומתו בעזרת מתנדבים דוברי שס"י. המודל שהמערכת מבוססת עליו מציג רמת דיוק מרשימה של 91% בזיהוי מילים, ומהווה צעד משמעותי לקראת שילוב רחב של הכלי במערכות לימוד ותמיכה לאוכלוסיות שונות.

Signsability פותחה על ידי דין עזרא ושי מסטיץ, בוגרי תואר ראשון בהנדסת תוכנה במכללת סמי שמעון, במסגרת פרויקט הגמר שלהם. את הפרויקט ליוותה ד"ר אירינה רבייב, מומחית בתחום בנוסף, מאמר אקדמי שכתבו בנושא פורסם בכתב העת המדעי Software MDPI.

מטרת הפרויקט היא לא רק ללמד שפת סימנים אלא גם להתאים אותה לכל אדם, ולתרגם משפטים שלמים לשפה הכתובה בעתיד. כיום המערכת תומכת בזיהוי של 18 מילים שונות, והיזמים עובדים על הרחבת המערכת כדי לתמוך באוצר מילים רחב יותר, ובהמשך גם בתרגום משפטים מלאים, תוך התחשבות בחוקי התחביר הייחודיים לשפת הסימנים.

דין עזרא מיזמי הפרויקט סיפר: "הנושא פגש אותי לפני 4 שנים, כאשר גרתי ממש מול שכן כבד שמיעה מלידה. מדי פעם כשהייתי שומע מבעד לדלת רעשים ודפיקות בארון חשמל שנמצא במסדרון בין הדירות שלנו, הייתי מבין שהוא צריך עזרה עם הפעלת מונה החשמל אצלו בדירה, והייתי יוצא לעזור לו. בנוסף להיותו כבד שמיעה, הוא לא ידע לקרוא ולכתוב, ולכן לא ידע להקליד את הספרות הנכונות במקום הנכון כדי להפעיל את החשמל לבד. אחרי שהייתי עוזר לו, הוא היה מסמן לי שהוא מודה לי, והרגשתי שהעזרה הקטנה שנתתי לו הייתה עבורו מאוד משמעותית. לצערי אני לא דובר שפת הסימנים, ולכן התקשורת איתו הסתכמה רק בפנטומימה מאולתרת, ולמרות שהאינטראקציות איתו היו מאוד נעימות, תמיד היה לי עצוב שלא הייתה לי יכולת לנהל איתו אפילו שיחה בסיסית ולשאול אותו דברים פשוטים כמו "מה שלומך?" או לאחל לו בוקר טוב. מכאן הגיעה ההבנה שלמידת שפת הסימנים צריכה להיות מותאמת ונוחה לכלל האוכלוסייה."

שי מסטיץ יוזם הפרויקט יחד עם דין סיפר: "בהיותי תלמיד בחטיבת הביניים, שובצו בכיתה שלי כבדי שמיעה ברמות שונות. עם הזמן התחילו להתגלע פערי תקשורת משמעותיים בין התלמידים השומעים לבין כבדי השמיעה, מה שהוביל לקשיים עבור שני הצדדים. חוויה זו עוררה בי את ההבנה שניתן ואף צריך לצמצם את הקשיים הללו על ידי קידום התאמת שפת הסימנים הישראלית לשימוש רחב יותר גם בקרב האוכלוסייה הכללית. חוויה זו שימשה עבורי כמקור מוטיבציה משמעותי לפיתוח הפרויקט, שנועד להתאים את שפת הסימנים לכלל האוכלוסייה ולשפר את התקשורת בין אוכלוסיות שונות"

מאמרים שאולי יעניינו אתכם
מדד החופש 2024 היכן  באר שבע
מדד החופש בישראל

44.50% חופש - ממוצע ארצי, זו השנה השביעית בה עמותת "ישראל חופשית" מפרסמת את מדד החופש העירוני והראשונה בקדנציה המוניציפלית הנוכחית. - קראו עוד

מאשה קלינובה אלופת העולם בשחמט מבאר שבע
מאשה קלינובה אלופת העולם

מאשה קלינובה, שחקנית ממועדון השחמט בבאר שבע, זכתה בתואר אלופת העולם לסניורות במסגרת אליפות העולם לשחקנים ותיקים. הזכייה המרגשת מוסיפה - קראו עוד

בית המשפט לעיריית באר שבע חובתכם לקלוט את הילדים
בית המשפט

בית המשפט המחוזי בבאר שבע פסק כי על עיריית באר שבע לרשום ילדים חסרי מעמד למוסדות חינוך בעיר, בעקבות עתירות - קראו עוד

קייטנת החנוכה של באר שבע "גיבורות וגיבורי האור" יוצאת לדרך!
קייטנת החנוכה, באר שבע ,"גיבורות וגיבורי האור"

קייטנת החנוכה, באר שבע ,"גיבורות וגיבורי האור"

תאונת דרכים קטלנית ליד עומר: גבר בן 36 נהרג ושלושה נפצעו קל
התאונה בכניסה לעומר

תאונת דרכים קשה התרחשה לפנות בוקר (04:54) בכביש 60, סמוך לצומת הכניסה לעומר, בה התנגשו שני כלי רכב פרטיים. צוותי - קראו עוד

האב בנה הבן הרס
החרמון הסורי צילום דובר צהל

תגובת שרשרת שהחלה בריסוק החיזבאללה על ידי ישראל והתקיפה באיראן שתפסה אותה במערומיה הייתה הזדמנות יוצאת דופן למהלך ההפיכה בסוריה.

חיזוק שיתוף הפעולה עם ענף הבנייה: מפגש אקדמיה-תעשייה ראשון במחלקה להנדסת בניין ב-SCE
קרדיט צילום יחצ SCE

בשבוע שעבר, המחלקה להנדסת בניין ב-SCE המכללה האקדמית להנדסה על שם סמי שמעון, אירחה מפגש אקדמיה-תעשייה ראשוני, במהלכו נפגשו נציגים - קראו עוד

ד"ר עמית פרנקל – האיש שמסמל מסירות שאין לה גבול
דר' עמית פרנקל

בסורוקה, בשמחת תורה האחרונה, התרחש אירוע רפואי חסר תקדים בהיקפו. בית החולים, שהיה במרכזו של אחד האתגרים הקשים בתולדות מערכת - קראו עוד

מהפכת תאגידי האנרגיה ברשויות המקומיות בדרך לבאר שבע
ראש עיריית באר שבע, רוביק דנילוביץ' (צילום: עיריית באר שבע)

עיריית באר שבע, בשיתוף משרד האנרגיה והתשתיות, מובילה מהלך חדשני להקמת תאגיד אנרגיה עירוני. מטרת המהלך היא להוזיל עלויות אנרגיה, - קראו עוד

באר שבע: הושלם מכרז ראשון להקמת פרויקט דיור להשכרה למשרתי קבע 
באר שבע

מינהל המעבר דרומה במשרד הביטחון ממשיך לקדם פתרונות דיור למשרתי הקבע עם פרסום קול קורא לפרויקטים להשכרה ארוכת טווח בבאר - קראו עוד

29 שנות מאסר נגזרו על ולדימיר ספיטלניקוב רוצח אשתו
צילום מתוך רשת חברתית על פי סעיף 27א לחוק זכויות יוצרים

ולדימיר ספיטלניקוב, תושב באר שבע בן 59, הורשע ברצח אשתו, אירינה גריבנב ז"ל, בת 67. הרצח אירע באוקטובר 2020, ונעשה - קראו עוד

פערים וצמיחה: תמונת מצב עדכנית של תשתיות הטעינה בישראל  
עמדת טעינה לרכב חשמלי

בבאר שבע: בירת הנגב מדורגת נמוך יחסית, עם 70 עמדות טעינה בלבד, מהן 44 עמדות רגילות ו-26 עמדות מהירות. הנתונים - קראו עוד

חדשות