פיתוח ישראלי חדשני: Signsability – מערכת ללימוד ותרגום של שפת הסימנים הישראלית

קרדיט צילום: יח"צ SCE

סטודנטים להנדסת תוכנה ב – SCE המכללה האקדמית להנדסה ע"ש סמי שמעון פיתחו את Signsability, מערכת פורצת דרך ללימוד ותרגום של שפת הסימנים הישראלית (שס"י). המערכת נועדה לצמצם את פערי התקשורת בין קהילת החרשים וכבדי השמיעה בישראל לבין האוכלוסייה הכללית ולהתאים את לימוד שפת הסימנים לכל אחד.

המכללה הטכנולוגית באר שבע
המכללה הטכנולוגית באר שבע

המערכת עושה שימוש בטכנולוגיות מתקדמות של למידת מכונה ועיבוד תמונה, ומספקת למשתמשים פידבק בזמן אמת על דיוק התנועות שלהם. כמו כן, המערכת מאפשרת תרגום מיידי של מילים משפת הסימנים לשפה הכתובה והתוצאות מבטיחות: 91% דיוק בזיהוי מילים!

הנתונים נאספו על ידי צוות הפרויקט ואומתו בעזרת מתנדבים דוברי שס"י. המודל שהמערכת מבוססת עליו מציג רמת דיוק מרשימה של 91% בזיהוי מילים, ומהווה צעד משמעותי לקראת שילוב רחב של הכלי במערכות לימוד ותמיכה לאוכלוסיות שונות.

Signsability פותחה על ידי דין עזרא ושי מסטיץ, בוגרי תואר ראשון בהנדסת תוכנה במכללת סמי שמעון, במסגרת פרויקט הגמר שלהם. את הפרויקט ליוותה ד"ר אירינה רבייב, מומחית בתחום בנוסף, מאמר אקדמי שכתבו בנושא פורסם בכתב העת המדעי Software MDPI.

מטרת הפרויקט היא לא רק ללמד שפת סימנים אלא גם להתאים אותה לכל אדם, ולתרגם משפטים שלמים לשפה הכתובה בעתיד. כיום המערכת תומכת בזיהוי של 18 מילים שונות, והיזמים עובדים על הרחבת המערכת כדי לתמוך באוצר מילים רחב יותר, ובהמשך גם בתרגום משפטים מלאים, תוך התחשבות בחוקי התחביר הייחודיים לשפת הסימנים.

דין עזרא מיזמי הפרויקט סיפר: "הנושא פגש אותי לפני 4 שנים, כאשר גרתי ממש מול שכן כבד שמיעה מלידה. מדי פעם כשהייתי שומע מבעד לדלת רעשים ודפיקות בארון חשמל שנמצא במסדרון בין הדירות שלנו, הייתי מבין שהוא צריך עזרה עם הפעלת מונה החשמל אצלו בדירה, והייתי יוצא לעזור לו. בנוסף להיותו כבד שמיעה, הוא לא ידע לקרוא ולכתוב, ולכן לא ידע להקליד את הספרות הנכונות במקום הנכון כדי להפעיל את החשמל לבד. אחרי שהייתי עוזר לו, הוא היה מסמן לי שהוא מודה לי, והרגשתי שהעזרה הקטנה שנתתי לו הייתה עבורו מאוד משמעותית. לצערי אני לא דובר שפת הסימנים, ולכן התקשורת איתו הסתכמה רק בפנטומימה מאולתרת, ולמרות שהאינטראקציות איתו היו מאוד נעימות, תמיד היה לי עצוב שלא הייתה לי יכולת לנהל איתו אפילו שיחה בסיסית ולשאול אותו דברים פשוטים כמו "מה שלומך?" או לאחל לו בוקר טוב. מכאן הגיעה ההבנה שלמידת שפת הסימנים צריכה להיות מותאמת ונוחה לכלל האוכלוסייה."

שי מסטיץ יוזם הפרויקט יחד עם דין סיפר: "בהיותי תלמיד בחטיבת הביניים, שובצו בכיתה שלי כבדי שמיעה ברמות שונות. עם הזמן התחילו להתגלע פערי תקשורת משמעותיים בין התלמידים השומעים לבין כבדי השמיעה, מה שהוביל לקשיים עבור שני הצדדים. חוויה זו עוררה בי את ההבנה שניתן ואף צריך לצמצם את הקשיים הללו על ידי קידום התאמת שפת הסימנים הישראלית לשימוש רחב יותר גם בקרב האוכלוסייה הכללית. חוויה זו שימשה עבורי כמקור מוטיבציה משמעותי לפיתוח הפרויקט, שנועד להתאים את שפת הסימנים לכלל האוכלוסייה ולשפר את התקשורת בין אוכלוסיות שונות"

מאמרים שאולי יעניינו אתכם
תושב באר שבע נעצר בחשד לאיומים על קצין הביטחון של הכנסת ושרים בממשלה
שימוש לפי סעיף 27א לחוק זכויות יוצרים

המשטרה עצרה תושב באר שבע בן 41, החשוד כי שלח הודעות מאיימות לקצין הביטחון של הכנסת ולשרים בממשלה, על רקע - קראו עוד

תושב באר שבע נעצר בפשיטה ניהל קזינו בדירת מרתף ברעננה
קזינו

במסגרת מבצע ממוקד של משטרת מחוז מרכז, נחשפה דירת מרתף בעיר רעננה ששימשה כבית הימורים בלתי חוקי. בפשיטה, שהייתה תוצאה - קראו עוד

באר שבע צונחת בדירוג איכות החיים: נתוני הלמ"ס חושפים תמונה מדאיגה
באר שבע מדד איכות החיים

בשנת 2023 נרשמה ירידה משמעותית בדירוג איכות החיים של באר שבע, כך עולה מנתוני הלשכה המרכזית לסטטיסטיקה (למ"ס) שפורסמו השבוע. - קראו עוד

תנ"צ אמיר קליין מונה למפקד מרחב הנגב
צילום - דוברות משטרת ישראל

תנ"צ אמיר קליין (47) נכנס היום רשמית לתפקיד מפקד מרחב הנגב במחוז הדרומי של משטרת ישראל. קליין, קצין בעל ניסיון - קראו עוד

טרגדיה בסורוקה: אישה בת 40 נפטרה מסיבוך של שפעת
סורוקה

בית החולים סורוקה בבאר שבע עדכן הבוקר על מקרה מצער שבו אישה כבת 40 נפטרה בעקבות סיבוך חמור של שפעת. - קראו עוד

אלימות קשה בבאר שבע: צעירה בת 21 נדקרה בשכונה י"א
משטרת באר שבע

ערב שבת סוער  בבאר שבע, כוחות הצלה ומשטרה הוזעקו לשכונה י"א בעיר בעקבות דיווח על צעירה בת 21 שנפגעה במהלך - קראו עוד

סערה בישיבת מועצת העיר באר שבע 
ראש עיריית באר שבע, רוביק דנילוביץ' (צילום: עיריית באר שבע)

המחאות בבאר שבע מתעצמות: תושבים זועמים התפרצו לדיון במועצת העיר בדרישה למצוא פתרונות למשבר הביטחון האישי. ראש העיר, רוביק דנילוביץ': - קראו עוד

התחדשות העיר העתיקה: פרויקט ההתחדשות ברחוב שלושת בני עין חרוד
העיר העתיקה - צילום עירית באר שבע

במסגרת קידום פרויקטים להתחדשות עירונית בעיר העתיקה, החלה העירייה, בשיתוף החברה הכלכלית, בעבודות פיתוח ושדרוג תשתיות ברחוב שלושת בני עין - קראו עוד

באר שבע בירת ההפסדים למשקיעי נדל"ן
באר שבע נדל"ן

העיר באר שבע מובילה בשיעור הדירות הנמכרות בהפסד ריאלי, במיוחד בדירות ישנות, בעוד שהשוק מוצף בדירות חדשות עם ממ"ד. מנתוני - קראו עוד

השתחררת לאחרונה או מתכונן לשחרור בקרוב?
כנס משוחררים באר שבע

אנחנו כאן כדי לעזור לך להתחיל את הפרק החדש שלך, מרכז הצעירים "סטארט אפ" באר שבע, האגף והקרן לחיילים משוחררים בשיתוף - קראו עוד

סמנכ"ל הכספים של מכבי ת"א בפוסט מעורר מחלוקת  "מי שנסע לאפריקה שלא יתפלא שיש סביבו קופים"
הפועל באר שבע

שמואל פרסם ברשתות החברתיות תמונה מאצטדיון טוטו-טרנר עם הכיתוב המקומם: "מי שנסע לאפריקה שלא יתפלא שיש סביבו קופים". לאחר זמן - קראו עוד

בית המשפט דחה את בקשת הפועל באר שבע להחזרת הנקודה 
הפועל באר שבע

החלטה: השופט אריאל צימרמן מבית המשפט המחוזי בתל אביב דחה את הבקשה למתן סעד זמני, תוך קביעה שאין בהילות בעניין - קראו עוד

חדשות