אין כל קושי לעמוד על ההבדל בין המילה 'Charge', המתייחסת למטען של סוללה, לבין המילה 'Charges', המתייחסת לכתבי אישום פליליים. אך לגבי מחשבים, האבחנה בין המשמעויות השונות של אותה המילה היא משימה מסובכת למדי.
במשך יותר מחמישים שנה מנסים בלשנים ומדעני מחשב לגרום למחשבים להבין את השפה האנושית באמצעות כתיבת תוכנות דיקדוק (סמנטיקה). המוטיבציה הראשונית למאמצים אלה היתה הצורך לתרגם טקסטים מדעיים ברוסית, במסגרת המלחמה הקרה בין ארה"ב לבין ברית המועצות (ובתקופה האחרונה, בשל החשיבות של כלים לאיתור מידע וניתוחו). מאמצים אלה הניבו הצלחה חלקית בלבד. ווטסון, המחשב של י.ב.מ. , שהצליח לנצח את המתחרים האנושיים בשעשועון Jeopardy, כמו גם תוכנת התרגום של גוגל, הם שניים מהניסיונות המוצלחים והמוכרים ביותר של טכנולוגיות שפה (language technologies), אך התשובות המשעשעות והתרגומים השגויים שאלה מפיקים לעיתים הם עדות נוספת לקשיים הכרוכים בבעיה זו.
היכולת האנושית להבחין בקלות בין המשמעויות השונות של אותה המילה מושרשת היטב בניסיון החיים העשיר שלנו. באמצעות פנייה להקשרים בהם מופיעה המילה, יכולת אינהרנטית להבין את התחביר וההיגיון, ותחושת הבנה של כוונת הדובר, אנו קולטים באופן אינטואיטיבי מה האדם שמולנו מנסה לומר לנו.

יותר מידי דברים ידועים רק לבני אדם
"בעבר, אנשים ניסו לקדד באופן ידני את כל הידע הזה", מסבירה קתרין ארק, פרופ' לבלשנות באוניברסיטת טקסס באוסטין, המתמקדת בדקדוק לקסיקלי (lexical semantics). "אני חושבת שניתן לקבוע באופן די ודאי כי מאמצים אלה לא הניבו פרי. מסתבר, כי יש יותר מדי דברים קטנים הידועים רק לבני אדם".
כיוון נוסף שבו הושקע מאמץ רב היה שימוש במשמעות המילונית של המילים כדי לאמן את המחשבים להבין טוב יותר את השפה, אך גם ניסיונות אלה נתקלו במכשולים. המילונים מציעים הבחנות משל עצמם להבדלים בין המילים, שמובנים להפליא לאנשים שכותבים את המילון, אך עמומים למדי עבור הקוראים של המילון. יתירה מכך, אין שני מילונים שמציעים את אותה מערכת משמעויות למילים; מתסכל למדי, הלא כן?
לאחר שעקבה אחר פרשנים במאבקם להבין את המשמעויות המתנגשות של אותן המילים, החליטה ארק לנסות טקטיקה שונה. במקום לנסות לקדד באופן קשיח את ההיגיון האנושי, או לפרש את המילונים השונים, מדוע לא לרתום למשימה מאגר נרחב של טקסטים (המשקפים את הידע האנושי), ולהשתמש בקשרים המובלעים (implicit) בין המילון במטרה ליצור מפה שקולה של מערכות יחסים, מעין מילון ללא מילון?
"הייתה לי תחושה שניתן להציג את המשמעויות השונות של מילה כנקודות בחלל", היא מסבירה. "אפשר לחשוב עליהן לפעמים כרחוקות זו מזו, כמו במקרה של מטען סוללה (charge) וכתבי אישום פליליים (charges), או כקרובות זו לזו, כמו במקרה של כתבי אישום פליליים והאשמות (accusations) [למשל, 'העיתון פרסם את ההאשמות']. המשמעות של המילה בהקשר ספציפי היא נקודה באותו החלל. בצורה זו אנו לא חייבים להחליט כמה משמעויות שונות יש לאותה מילה. במקום זאת אנו אומרים 'השימוש הזה במילה קרוב לשימוש במילה במשפט אחר, אבל רחוק מהאופן שבו היא משמשת במקרה שלישי".
כדי לבנות מודל שייצג באופן מדויק את היכולת האינטואיטיבית להבחין במשמעות של מילה יש צורך בכמות גדולה של טקסטים, ו'כוח סוס' אנליטי משמעותי.
"הבסיס התחתון של מחקר מסוג זו כולל אוסף של 100 מיליון מילים", היא מסבירה. "אם הייתי יכולה להשיג כמה מיליארדי מילים, הייתי הרבה יותר מרוצה. אך כיצד ניתן לנתח כל כך הרבה מידע? זאת בדיוק הנקודה שמחשבי העל ו-Hadoop נכנסים לתמונה".

לרתום 'כוח סוס' ממוחשב
כשארק החלה את מחקרה היא נעזרה במחשבים שולחניים, אך בסביבות 2009 היא עברה להשתמש במערכות מחשבים מקבילות (parallel computing systems) של המרכז למחשוב מתקדם באוניברסיטת טקסס (TACC). הגישה לתת-מערכות המותאמות במיוחד לשימוש ב-Hadhoop (special Hadhoop-optimized subsystem) במחשב העל לונגהורן (Longhorn) שנמצא ב-TACC איפשרה לארק ולעמיתיה להרחיב את טווח המחקר שלהם. Hadhoop היא ארכיטקטורת תוכנה המתאימה במיוחד לניתוח טקסטים וכריית מידע מתוך מידע בלתי מאורגן (unstructured data). כמו כן Hadhoop יכולה לעשות שימוש באשכולות גדולים של מחשבים (large computer clusters). מודלים ממוחשבים הדורשים שבועות של הרצה על מחשבים שולחניים יכולים להסתיים בתוך כמה שעות בעזרת לונגהורן. השימוש במחשב העל פתח עבור ארק ועמיתיה אפשרויות חדשות.
"במקרה פשוט אנו סופרים כמה פעמים מילה מופיעה בסמיכות למילים אחרות. אם אתה צריך לבצע את הפעולה הזו על מיליארד מילים, האם יש לך כמה ימים להמתין לתוצאות? זה אינו תענוג גדול", אומרת ארק. "אחרי שהתחלנו להשתמש ב-Hadhoop בעזרת לונגהורן, היינו יכולים לקבל את המידע הנחוץ לניתוח שפה (language processing) הרבה יותר מהר. הדבר איפשר לנו להשתמש בכמויות גדולות יותר של מידע ולפתח מודלים טובים יותר".
לדברי ארק, המעבר לטיפול במילים כמערכת יחסית ובלתי קבועה מתכתב עם מגמות חדשות בפסיכולוגיה, העוסקות באופן שבו התודעה מתייחסת לשפה ולמושגים באופן כללי. במקום הגדרות קשיחות, למושגים יש "גבולות מעורפלים" (fuzzy boundaries""), כך שהמשמעות, הערך והטווח של המושג (Idea) עשויים להשתנות בצורה ניכרת בהתאם להקשר או לתנאים. ארק משתמשת בתפיסה זו של השפה כדי ליצור מודל מתאים באמצעות מאות ואלפי מסמכים.

לומר זאת באופן שונה
אם כך, איך ניתן לתאר את המשמעות של מילה בלי להשתמש במילון? דרך אחת היא לנסח מחדש (paraphrase) את המשפט. ניסוח מחדש מוצלח הוא ניסוח 'קרוב' למשמעות של המילה בתוך מערכת החלל הרב-ממדי (high-dimensional space) שארק מתארת.
"אנו משתמשים בחלל עצום בן 10,000 ממדים, עם כל אותן נקודות שונות לכל מילה, במטרה לצפות (predict) את הניסוח מחדש", מסבירה אלק. "למשל, אם אתן לך משפט כמו 'הילד הזה מבריק', המודל יכול לומר לך באופן אוטומטי מה יהיה ניסוח מחדש מוצלח של המשפט (ילד אינטיליגנטי) ומה יהיה ניסוח מחדש קלוקל (ילד בוהק). היכולת הזו היא שימושית למדי בתחום טכנולוגיית שפה".
גם עכשיו מסייעות טכנולוגיות שפה למיליוני אנשים במשימות פרקטיות ובעלות ערך בכל יום, באמצעות חיפושים באינטרנט ומערכות המספקות תשובות לשאלות ספציפיות (question-answer systems). אך טכנולוגיות אלה יבואו לידי ביטוי במגוון רחב יותר של שימושים בעתיד.
חילוץ מידע באופן אוטומטי הוא אחד היישומים בהם המחקר של ארק, המתמקד בניסוח מחדש, עשוי למלא תפקיד קריטי. למשל, במקרה שבו אתם מבקשים להרכיב רשימה של מחלות, הגורמים להן, הסימפטומים והתרופות, מתוך מאגר של מיליוני דפים המכילים מידע רפואי ברחבי הרשת.
"חוקרים משתמשים לעיתים קרובות בניסוחים שונים כשהם מדברים על אותן המחלות, כך שניסוח מחדש מוצלח עשוי לסייע במקרים אלה", אומרת ארק.

שפה היא עניין מבולגן
במאמר שהופיע בכתב העת האקדמי ACM Transactions on Intelligent Systems and Technology הדגימו ארק ושותפיה למחקר כיצד הם יכולים להשיג תוצאות מעולות בעזרת גישת הניסוח מחדש.
לאחרונה, ארק וריי מוני - פרופ' למדעי המחשב המלמד אף הוא באוניברסיטת טקסס באוסטין, זכו למענק מהסוכנות לפרויקטים בתחום מחקרי הגנה מתקדמים (Defense Advanced Research Projects Agency), במטרה לשלב את חלל הייצוג הרב-ממדי תפוצתי (distributional) של משמעויות המילה שפיתחה ארק, עם שיטה לניתוח מבנה המשפט המבוססת על רשתות מארקוב לוגיות (Markov logic networks).
"שפה היא עניין מבולגן", אומר מוני. "אין כמעט שום דבר שיכול להיות נכון כל הזמן. כשאנו שואלים 'עד כמה דומה המשפט הזה למשפט אחר?', המערכת שלנו הופכת את השאלה למשימה הכרוכה בהוכחת תאורמה (theorem-proving ) באופן הסתברותי, ומשימה זו עשויה להיות מורכבת למדי מבחינה חישובית".
במאמר, שנקרא ""Montague Meets Markov: Deep Semantics with Probabilistic Logical Form והוצג בוועידה השנייה לדקדוק לקסילי וממוחשב שנערכה ביולי אשתקד, ארק, מוני ועמיתיהם הכריזו על התוצאות שלהם בכמה בעיות מאתגרות בתחום האינטליגנציה המלאכותית.
באחת הבעיות, מחשב העל לונגהורן קיבל משפט והיה צריך להסיק האם משפט אחר הוא אמיתי בהתבסס על המשפט הראשון. באמצעות הרכב של נתחים תחביריים (parsers), מודלים למשמעות מילים ויישומים המתבססים על לוגיקת מארקוב, המערכת של מוני וארק הצליחה לצפות את התשובה הנכונה ברמת דיוק של 85%. מדובר בשיעור הקרוב לטווח העליון של התוצאות באתגרים מסוג זה. מאז הם ממשיכים לעבוד על שיפור המערכת.

יש משפט ידוע בעולם הלמידה החישובית (machine-learning world), שקובע, כי "המידע הטוב ביותר הוא עוד מידע" (There's no data like more data). אולם, בעוד שמידע נוסף אכן עשוי לעזור, האופן שבו משתמשים במידע זה הוא הנקודה החשובה ביותר.
"אנו רוצים להגיע לנקודה שבה לא נצטרך כלל ללמד שפת מחשב כדי לתקשר עם מחשבים. פשוט נוכל לומר למחשב מה אנו רוצים, בשפה רגילה", אומר מוני. "אנחנו נמצאים במרחק רב מאוד ממחשב שיהיה מסוגל להבין שפה באותו האופן שבו בני אדם מבינים אותה, אבל ללא ספק התקדמנו בכיוון מטרה זו".
.