פרס הנובל בפיזיקה ל-2024 הוענק אתמול (שלישי) לפיזיקאים ג'ון הופפילד וג'פרי הינטון, על "גילויים והמצאות בסיסיים, שאפשרו למידת מכונה עם רשתות נוירונים מלאכותיות".
בהשראת רעיונות מהפיזיקה ומהביולוגיה, הופפילד והינטון פיתחו מערכות מחשוב שיכולות לשנן דפוסים של נתונים וללמוד מהם. למרות שהם מעולם לא עבדו יחד באופן ישיר, הם נעזרו זה בעבודתו של זה כדי לפתח את היסודות של הזינוק הנוכחי בלמידת מכונה ובבינה מלאכותית.
ג'פרי הינטון (מימין) וג'ון הופפילד (צילומים: Vaughn Ridley/Collision via Sportsfile, bhadeshia123, ויקימדיה)
מהן רשתות נוירונים מלאכותיות? (ומה הקשר שלהן לפיזיקה?)
רשתות נוירונים מלאכותיות (גם: רשתות עצביות מלאכותיות) עומדות מאחורי הרבה מטכנולוגיית הבינה המלאכותית שמשתמשים בה כיום.
כמו שבמוח יש תאי עצב (נוירונים) שסינספות מקשרות ביניהן, כך ברשתות נוירונים מלאכותיות יש נוירונים דיגיטליים שמקושרים זה לזה בצורות שונות. נוירון בודד לא עושה הרבה בפני עצמו. הקסם טמון בדפוס הקשרים בין הנוירונים ובעוצמתם.
נוירונים ברשת נוירונים מלאכותית "מופעלים" בידי אותות שמתקבלים מבחוץ – הקלט. נוירון אחד שהופעל מפעיל את משנהו, בדרכים שיכולות להשתנות לאורך הדרך, וכך מעובד המידע שנקלט. כתוצאה מכך, הרשת יכולה לבצע משימות חישוביות כמו סיווג, חיזוי וקבלת החלטות.
במשך רוב תולדות התחום של למידת מכונה, רוב העוסקים בו חיפשו דרכים מתוחכמות יותר ויותר ליצור ולעדכן את הקשרים האלו בין נוירונים מלאכותיים.
הרעיון הבסיסי של קישור בין מערכות עם צמתים (nodes), כדי לאחסן ולעבד מידע, מקורו בביולוגיה. עם זאת, המתמטיקה שבה השתמשו כדי ליצור ולעדכן את הקשרים האלו הגיעה מהפיזיקה.
רשתות שיכולות לזכור
ג'ון הופפילד (91) הוא חוקר פיזיקה תיאורטית מארצות הברית, שבמהלך הקריירה שלו תרם רבות לשדה הביופיזיקה. עם זאת, את פרס הנובל הוא קיבל על עבודתו בפיתוח רשתות הופפילד ב-1982.
רשתות הופפילד היו אחד הסוגים המוקדמים ביותר של רשת נוירונים מלאכותית שנוצרו. בהשראת רעיונות מהניורוביולוגיה ומהפיזיקה המולקולרית, המערכות האלו הדגימו בפעם הראשונה איך מחשב יכולה להשתמש ב"רשתות" של צמתים כדי לזכור ולהיזכר במידע.
הרשתות שהופפילד פיתח יכלו לשנן מידע (כמו אוסף של תמונות בשחור לבן). בתמונות האלו המחשב יכול היה "להיזכר" על דרך האסוציאציה, כשהוזנה אל הרשת תמונה דומה לאחת מהן.
לרשתות הופפילד הייתה משמעות ישימה מוגבלת, אך הן המחישו שהסוג הזה של רשתות נוירונים מלאכותיות יכול לאחסן ולשלוף מידע בדרכים חדשות. הן הניחו את הבסיס לעבודתו המאוחרת יותר של הינטון.
מכונות שיכולות ללמוד
ג'פרי הינטון (77), שלפעמים מכונה "אחד מסנדקי ה-AI", הוא מדען מחשב בריטי קנדי, שתרם רבות לשדה המחקר שלו. ב-2018 הוא זכה בפרס טיורינג, הכבוד הגדול ביותר במדעי המחשב, יחד עם יהושע בנג'יו ויאן לקון. פרס זה הוענק לו על מחקריו בתחום למידת מכונה מתקדמת באופן כללי, ובפרט על תרומתו לפיתוח סוג מסוים של למידת מכונה, שנקרא למידה עמוקה (deep learning).
בפרס הנובל בפיזיקה, לעומת זאת, זכה במיוחד על עבודתו מ-1984 עם טרי סיינובסקי ועמיתים אחרים, על פיתוח מכונות בולצמן.
מכונות אלו הן הרחבה של רשתות הופפילד, שהגדימו את הרעיון של למידת מכונה – מערכת שנותנת למחשב ללמוד מדוגמאות של מידע, במקום מהמתכנת. תוך שאיבה מרעיונות מתחום הפיזיקה הסטטיסטית, הינטון הראה שהמודל המוקדם הזה למודל גנרטיבי (generative model) יכול ללמוד עם הזמן כיצד לאחסן מידע, פשוט על ידי כך שיראו לו דוגמאות של דברים שעליו לזכור.
למכונת בולצמן, כמו לרשתות הופפילד לפניה, לא היה שימוש יישומי מיידי. עם זאת, צורה משוכללת יותר שלה (שנקראת מכונת בולצמן מוגבלת) זכתה לשימוש לכמה בעיות יישומיות.
יותר חשובה הייתה פריצת הדרך המושגית: רשת נוירונים מלאכותית יכולה ללמוד מנתונים. הינטון תרם לפיתוח הרעיון הזה. מאוחר יותר, הוא פרסם מאמרים רבי השפעה על התפשטות אחורנית (backpropagation, תהליך הלמידה שמשמש במערכות עכשוויות של למידת מכונה) ורשתות קונבולציה (convolutional neural networks, הסוג המרכזי של רשתות נוירונים שמשמש כיום מערכות בינה מלאכותית שעובדות עם תמונות וסרטונים).
למה הם זכו בפרס, עכשיו?
רשתות הופפילד ומכונות בולצמן נראים שטותיים לעומת מערכת הבינה המלאכותית של היום. רשת הופפילד הכילה רק 30 נוירונים (הוא ניסה להרחיב אותה ל-100 צמתים, אך זה היה יותר מדי ביחד למשאבי המחשוב של אותו זמן), לעומת מיליוני נוירונים במערכות עכשוויות כמו ChatGPT. עם זאת, זכייתם בפרס נובל מראה כמה חשובות היו התרומות המוקדמות האלו לשדה.
ההתקדמות המהירה ב-AI – המוכרת לרבים בזכות מערכות בינה מלאכותית יוצרת (generative AI) דוגמת ChatGPT – אולי נראית כמבטאת את חשיבות תרומתם של הראשונים שקידמו את תחום רשתות הנוירונים המלאכותיות, הינטון הביע דאגה. ב-2023, אחרי שפרט ממחלקת ה-AI של גוגל לאחר כעשור, הוא אמר שהוא מפחד מקצב ההתפתחויות, והצטרף לקולות הגוברים הקוראים להרחיב את הרגולציה על הבינה המלאכותית.
I was happy to add my name to this list of employees and alumni of AI companies. These signatories have better insight than almost anyone else into what is coming next with AI and we should heed their warnings. https://t.co/ByFOLnXvTI
— Geoffrey Hinton (@geoffreyhinton) September 10, 2024
אחרי שקיבל את פרס הנובל, הינטון אמר שבינה מלאכותית היא "כמו המהפכה התעשייתית, אבל במקום יכולות פיזיות, המכונות יתעלו על יכולותינו השכליות". הוא גם אמר שהוא עדיין מודאג מכך שההשלכות של עבודתו עלולות להוביל ל"מערכות יותר חכמות מאיתנו, שבסופו של דבר עלולות לשלוט בנו".
אהרון ג' סנוזוול הוא עמית מחקר בתחום האחריותיות (Accountability) בבינה מלאכותית באוניברסיטת קוויזלנד לטכנולוגיה באוסטרליה.
מאמר זה פורסם באתר Theconversation.com, ומתפרסם ב'דבר' בכפוף לרשיון Creative Commons. לקריאת המאמר המקורי (באנגלית) הקישו כאן.
