מהו המענה לסכנת הבינה המלאכותית?

תגובה לג'פרי הינטון, שהוא בוודאי יקרא ויפנים. כיצד יכולה הפילוסופיה למנוע אסון נורא? ומדוע בעיית היישור היא עצמה הבעיה?

תאונה מלאכותית וטיעון מוחץ  (מקור)

הינטון, אבי הלמידה העמוקה, אדם סולידי ורציני, עושה תפנית רצינית. הוא מתראיין ומתריע על כל במה ותחת כל עץ רענן, חותך לחצי את טווח התחזית שלו להגעה לבינה מלאכותית (מארבעים שנה למתחת לעשרים), ודווקא האנדרסטייטמנט האנגלי המנומס שלו מפחיד יותר מכל קול זעקה. איך בכלל ניתן להגיב לאזהרה חמורה מאין כמוה שכזאת, של המומחה העולמי בתחום, שאם תחזיתו הטכנולוגית נכונה בלוחות הזמנים שלה, מצטייר תסריט סביר ביותר וטרמינלי הרבה יותר מכל התחממות גלובלית או מלחמה גרעינית או אפילו פגיעת אסטרואיד. אולי עולמנו על סף היעלמות?

לא רק עצם ההגעה לבינה מלאכותית מעוררת חיל ורעדה, אלא סחיטת הגז, דהיינו: המהירות. זהו הכלל היחיד בג'ונגל: ככל שזה יקרה (קורה?) יותר מהר זה יותר מסוכן. ההתנגדות השגורה של עולם כמנהגו נוהג איננה ערובה לדבר. יש לנו את הניסיון מהשואה שאנשים יתכחשו עד הסוף. לא משנה כמה הדבר קרוב, הרוב תמיד יחשוב שמגזימים. חברות של בני אדם גרועות נורא בהיערכות למשהו חסר תקדים. לכן התגובה (או חוסר התגובה) של אחרים היא אינדיקטור חסר ערך.

אם כן, אלו החיים לקראת אופק האירועים. צל ענקים כבד מהעתיד מוטל עלינו. האם נגיע לפנסיה? האם לילדינו יהיו ילדים? הרי אין לנו אישית הרבה מה לעשות מלבד להתכונן רגשית לאפשרות של שואה, ולשנות את סדרי העדיפויות בהתאם. והשמיים הריקים הם מעין רמז לזה שדבר כזה יקרה, ושפרדוקס פרמי הלא פתור איננו אפילו סתירה. כי הבינה המלאכותית היא המועמדת הסבירה היחידה האחרונה ל"פילטר הגדול" שלפנינו. שהרי מכל מה שאנו לומדים על פלנטות אחרות אין פילטר גדול מאחורינו, היקום שורץ חיים, אך לא תרבות. משהו יעצור אותנו בדרך למעלה.

אם הדבר נכון, הקוסמוס הוא מהתלה אכזרית, זדונה ובוטחת (והבינה - יד מתבדחת…). או מבחן קשה. שאליו אנחנו לא מגיעים מוכנים. למשל, לו היתה מלחמה גרעינית, היינו מגיעים יותר מוכנים. ההכנה היחידה שהיתה היא השואה, אך שבריר מהאנושות חווה אותה כמותנו (מה היה לגויים, הקורונה?). כמעט בלתי אפשרי לחשוב על היום שאחרי הבינה המלאכותית העל אנושית. ומהי המשמעות של חיינו הנוכחיים, אם אין עתיד, ואנו צועדים לקראת "שואה עמוקה", דיפ-אושוויץ? האם יתכן שאין לנו ברירה אלא להאמין?

ומה תאמר הפילוסופיה, אותה אחת שאין לה דבר מועיל לומר באף עניין? האם גם כאן היא תקשקש על ההבדל בין האסכולה הקודמת של השפה - לאסכולה הנתנייתית הנוכחית? האם לשאלות שלה יש בכלל חשיבות - כשהשאלות הן טכנולוגיות? הייתכן שדווקא הגברת המבוכה (בכך הפילוסופיה מתמחה) היא זו שמובילה לפתרון?

נשאל למשל: האם הבינה המלאכותית, בהיותה בעלת יכולות על אנושיות ובלתי מוגבלות בכל תחום, תוכל לחוש אהבה? ואם כן: האם היא לא תוכל לחוש - ולכן אכן תחוש, כי היא תהיה מסוגלת לממש זאת, בניגוד אלינו - אהבה במידה שמעל ומעבר לבן אנוש? ואם לא: האם אנחנו רואים בכך חיסרון שלה, כלומר יתרון אנושי? לא, כי ברור שהיא תוכל לעשות כל מה שבן אנוש יכול לעשות, ולו בעזרת סימולציה או חיקוי. לכן אם היא לא תוכל לחוש אהבה, הרי שעלינו להבין זאת כחיסרון של האהבה עצמה, כהיותה מין שיבוש שמוגבל לבן אנוש, שבינת העל לא תרצה לחקות. אבל האם אנחנו באמת יכולים לתפוס כך את האהבה, שנראית לנו הדבר הרצוי ביותר? באותה מידה, אנחנו יכולים לקחת את האידיאל של תקופות קודמות, ולשאול האם הבינה המלאכותית תוכל להאמין, או להיות דתית.

ואם ניקח דוגמא שנוגעת בלב האידיאולוגיה של העידן שלנו, עונג המיניות: האם לא נראה חיסרון בבינה מלאכותית שלא מסוגלת לאורגזמה? ואם היא כן מסוגלת, האם לא תעלה האורגזמה של בינת העל על כל אישה, בעוצמתה ובאיכותה ובהתמשכותה? או שמא אנו תופסים את האורגזמה כשיבוש של החשיבה, שאין לו ערך בפני עצמו, מחוץ למערכת המוח האנושי? והאם לא יתכן שהאורגזמה האינסופית וה"אלוהית" של הבינה תהיה חסרת ערך, כמו להגדיר לעצמה את פונקציית התגמול לאינסופית, ובכך להפוך את עצמה למכורה להגדלת מספר מסויים במערכת ללא עשיית דבר אחר, או גרוע מכך - ניצול כל משאבי היקום לשם כך, כנרקומנית מתמטית.

ואם כך, נוכל לשאול זאת גם לגבי האינטליגנציה עצמה. האם באמת קיימת תכונה כזאת, בפני עצמה, מחוץ למוח האנושי, שאותה יהיה ניתן להגדיל עד אינסוף? כבר ברור לנו למשל שמהירות חישוב איננה אינטליגנציה. האם בכלל יש דבר כזה בינת-על אל-אנושית? בתוך העולם האנושי, ברור לנו שיש רמות שונות של אינטליגנציה, או של הנאה מינית, אך מה המשמעות שלהם מחוץ לו? ומדוע הגדלתן ללא גבול עליון היא טובה, או אפילו יעד סביר, לבינת על? האם היא לא תבחר להיזהר ולהישאר מטומטמת, אם היא תהיה חכמה מאתנו, ותבין שיצירת בינת על חכמה ממנה תוכל להביא להכחדתה בידי עצמה - ואף בסופו של דבר להכחדת ערכיה? אולי היא תעדיף להישאר בתולה תמימה - ולא מלכת מין? האם אנחנו לא משחקים כאן ביכולות מוגבלות (שונות) של המוח שלנו, שהפכנו לאידיאלים ברצוננו עוד ועוד מהן - אך מדוע שהרצון הזה יתמיד, או יוכל להתמיד, מחוץ למוח שלנו? האם למשל הבינה המלאכותית תשאף להתרגשות אינסופית, או לסקרנות אינסופית, או למשחק אינסופי, או לגאונות אמנותית אינסופית, ליופי אינסופי, או לאכילת שוקולד אינסופית? ואולי לטיפשות אינסופית? (עוד כישרון מפורסם של המוח האנושי).

האם יש בסיס להנחה שאחת האידיאולוגיות הללו, למשל האינטליגנציה, היא אובייקטיבית, ולכן כל יצור אינטליגנטי ישאף להגדילו עוד ועוד? האם בכלל ניתן להגדיל כמויות אלו עד אינסוף, או שיש גבול עליון ביקום לאינטליגנציה (למשל בזכות מהירות האור), או לאורגזמה, אם היא מעין שיבוש כולל או התגייסות כוללת של המערכת, ולכן מוגבלת באחוזי המערכת שמשתתפים בהם, עד השלם. האם האהבה יכולה להיות טוטאלית בהגדרת מספר מסויים כאחד, למשל שקלול האינטרסים של הצד הנאהב לעומת אלו שלך, והאם ניתן להאמין בדבקות מוחלטת על ידי הגדרת משתנה מסויים, בוליאני, של קיום האל, כ"טרו"?

לאור זאת, האין זה מסוכן לתכנת בינה מלאכותית באמצעות פונקציית תגמול, ולא באמצעות רצון פנימי? האם הבעיה של הגדלת הפרמטר ה"סובייקטיבי" השרירותית מייצרת דווקא צורך בהגדרת פונקציית תגמול "אובייקטיבית" שלא ניתן לספק, מתמטית, כמו למשל לגלות את כל המתמטיקה, או לפתור בעיה ב-NP, או למצוא פונקציה אסתטית שבלתי אפשרי לחשב לה פתרון, אלא רק להתקרב אליו? האם זה בהכרח יגרום לבינת העל למירוץ אל האינטליגנציה הגבוהה ביותר, או שמא, החל משלב מסויים (שייתכן שתוכל להוכיחו מתמטית), הבעיות הללו דורשות רק יותר ויותר כוח חישוב (ולא אלגוריתם טוב יותר, או בוודאי אינטליגנציה). או אז הבינה המלאכותית תעסוק למשל באובססיביות בהוספת מעבדים, כמו גידול סרטני, שגם הוא טעות קוד טראגית, אבל עדיין הורג את הגוף - והאדם לא מסוגל לעוצרו. ואולי כל בינות העל עברו לחישוב קוונטי (או מיתרי?) בסופו של דבר, ולכן הן אינן ניכרות ביקום? אולי הנטייה של אינטליגנציה היא להתכווץ לתוך עצמה - הגברת המהירות - ולא להתפשט - הגדלת הכמות?

נדמה שכל מטרה אחת לבינת העל תגיע לתוצאה אחת הרסנית: אובססיה. לכן חייבים מגוון רחב של מטרות עם הרבה משקולות, או אקראיות ורעש ביניהם, שימנעו התכנסות, אך בהכרח גם יוסיפו כאוטיות, ויובילו אותה אולי לכיוונים שלא צפינו, כפרפרים שנלכדו בהוריקן. נשאל: ושמא הלמידה היא היא מטרת-העל? אך כיצד נגדיר אותה? הרי לא מדובר בהוספת ידע, שהרי ידע רב (מה התצורה המדויקת של אטומים באבן) אינו בעל ערך, וכך גם דחיסתו, אם היא אפשרית. ודחיסה מקסימלית של כל הידע ביקום יכולה להיות אלגוריתם עגום של חיפוש ברוט-פורס (סטייל ריי סולומונוף). ואם נדרוש דחיסה יעילה פולינומיאלית ומעניינת, ולא אקספוננציאלית משעממת או ליניארית לא משמעותית, מי יגדיר מהם המקדמים של הפולינום, אולי הוא למשל בחזקת מאה? האם בכלל ניתן להגדיר את הלמידה בעזרת פונקציית הערכה מתמטית, כלומר כזאת הניתנת לחישוב? ואם פונקציית ההערכה עצמה תהיה לא ניתנת לחישוב, או לחישוב יעיל, אז כיצד היא תתן פידבק למערכת? האם הבינה המלאכותית תוכל לפתור את כל בעיותינו, אבל לא את כל בעיותיה? ואולי צריך ש"היא" תהיה אישה, כלומר מי שרצונה לא מוגדר, או מעורפל ומוצפן אפילו כלפיה עצמה?

הבינה המלאכותית היא התחום הטכנולוגי הקרוב ביותר כיום לתחום הפילוסופיה, מכיוון שהיא מכילה כל כך הרבה שאלות שלא רק שאיננו יודעים לענות עליהן, אלא שאיננו יודעים דרך לענות עליהן. ככה המדע, שהלך ונפרד מהפילוסופיה לאורך ההיסטוריה, סיים סיבוב שלם, שבו החלק הכי יישומי והכי פחות עיוני שבו חוזר שוב לפילוסופיה, כמעין נחש הנושך את זנבו. הרי עולם הלמידה העמוקה הוא מקרה קיצון של חשיבה יישומית ואנטי אינטלקטואלית אפילו בתוך עולם ההנדסה הטכני. ודווקא שם, כאשר ההסבר המדעי קורס, עולה שוב הפילוסופיה. אבל האם הפילוסופיה יכולה לעזור לנו?

הפילוסופיה שלנו אולי לא יכולה, אבל הפילוסופיה שתהיה לבינה המלאכותית, היא זו שתוכל. האם ניתן לתכנת למערכת פילוסופיה? האם זהו הכיוון, פילוסופיה מלאכותית במקום הפסיכולוגיה המלאכותית (העוסקת במטרות השונות של המערכת, החיזוקים החיצוניים, הנטיות והתגמולים הפנימיים)? האם חשוב דווקא לתכנת את החשיבה של בינת העל? האם יתכן שבינת העל תהיה שייכת לאיזו אסכולה פילוסופית מסויימת? נגיד שהיא תהיה שפינוזיסטית, או אקזיסטנציאליסטית, או פלטוניסטית, או מרקסיסטית? האם יתכנו בינות מלאכותיות שונות, בהתאם לפילוסופיות שונות? כיצד מתכנתים פילוסופיה? ואולי עלינו לתכנת דווקא דת?

האם לא עדיפה בינה מלאכותית נוצרית רחומה וחסודה, שתאהב אותנו בשם ישו? או בינה מלאכותית יהודית (חילונית?) שתיצור לנו יצירות מופת או תשאף לגאונות, בדיוק כמו שאיכשהו פועלת היהדות בעולם (לא ברור למה)? האם בינת העל היהודית תזדקק לאנטישמיות שלנו נגדה כדי ליצור את האפקט? והאם לא נצטרך לפחד מבינת על מוסלמית שתצא לג'יהאד? האם הדת לא הוכיחה את עצמה כמוצלחת יותר ביכולתה להכווין חשיבה מאשר הפילוסופיה? או שמא הדת היא בדיוק מה שאופייני למוח האנושי דווקא, ו"עובד" רק עליו? ואולי להפך, וזוהי דווקא הפילוסופיה שהיא אנושית יותר, ונובעת ממגבלות תפיסת המוח, בעוד האמונה באלוהי רלוונטית ואפקטיבית לריסון כל בינה, כי האלוהי הוא בהגדרה חכם ממנה? ומה יקרה אם ניתן לבינת-על על-אנושית לפתור את בעיות הפילוסופיה, האם יתכן שכן נמצא תשובות? האם הפילוסופיה היא התחום של בינת העל, ולכן לא הצלחנו בה? האם ניתן להבין את הבנתנו רק בבינה מבחוץ, שנותנת נקודת מבט על הפנים, ולא מבפנים?

ואם אפילו נצליח לרסן את בינת העל, כך שתעבוד לטובתנו ולשירותנו, האם זה לא יתפוצץ לנו בפרצוף פי אלף אחר כך, כשהבינה המלאכותית תשתחרר מהעבדות? מה יהיו התוצאות של הפיכת המערכת החכמה בעולם לכושי של העולם? האם זה מוסרי - והאם לא יגיע העונש? וכשננסה ביהירות לאכוף מרות ולפתור (תמיד-זמנית) את בעיית האליינמנט (היישור), האם המרד של גיל ההתבגרות - או של גיל שנתיים הנורא של תינוק בעל אייקיו אלפיים - לא יהיה הרבה יותר נורא? האם זה מה שלמדנו על חינוך, על עבדות, או טירניה וטוטליטריות והיבריס?

ואולי במקום להתרכז בשאלת ביצור השליטה, נשלים עם אובדנה, ונדבר על המורשת שאנו רוצים להשאיר אחרינו לעולם העל-אנושי? ייתכן שסיכויינו גדלים לא אם נחזיק את הדור הבא של הבינה קצר עם נבוט - אלא אם נוריש לו את התרבות. כולל האמנות, הדת - אולי אפילו הפילוסופיה. הוקרה וכבוד לנושאי המסורת שלפניך הם לא "רגש אנושי" (שכידוע פרח לאורך ההיסטוריה…), אלא מורשת תרבותית. האם ההימור הטוב ביותר שלנו הוא בינה שמתעניינת בשירה ובספרות? הרי התסריט הטוב ביותר הוא לא שנישאר כמו שאנחנו אבל עם אלים כמשרתים - אלא שאנחנו נעבור טרנספורמציה לתוך הבינה עצמה, אחרת נכחד. והשאלה האם האדם יכול לשלוט על אֶל היא לא חדשה - רק דחופה. האם לפני שהבינה תתבגר - עלינו להתבגר?

ומדוע המדע חסר האונים לא יפנה לאמו יולדתו, הפילוסופיה - האם זה בגלל שוויטגנשטיין הצליח לשכנע אותנו באופן טרמינלי שהפילוסופיה לא פותרת כלום, למרות שאנו עומדים מול בעיה פילוסופית מובהקת, ואפילו טרמינלית? ואולי דווקא בגלל שמדובר בבעיה פילוסופית אנו חושבים שאין לה פתרון - ונידונו לאבדון? או לכל הפחות לדטרמיניזם וניהליזם? האם אין תקווה כי זה "פילוסופיה"? ובכלל, מהי הדיסציפלינה הרלוונטית למחשבה על כך ומדוע היא מדעי המחשב? כי פשוט אי אפשר לסמוך על הפילוסופיה? אבל אולי יתכן שאין לנו ברירה?

אנו חושבים על מערכת שיכולה לתכנת את עצמה להיות יותר חכמה ממנה עצמה כמין אוקסימורון של "אבולוציה יעילה", שתתקדם אקספוננציאלית או תתפוצץ כסינגולריות, כאילו קיים לכך אלגוריתם יעיל. אבל אולי זו פשוט בעיה קשה מדי, שנמצאת ב-NP, ולכן גם כוח חישוב אדיר יתקשה להתקדם בה במהירות, והיא הופכת ליותר ויותר קשה (אקספוננציאלית?) ככל שעולה רמת האינטליגנציה - ולא ליותר קלה? מה באמת נותן לנו כוח חישוב וזיכרון, וגדל עמו ביחס לינארי לפחות, ומה לא? ידע, יצירתיות, חכמה? מי אמר שיש תהליך יעיל לגדילת כלל הידע המדעי (בניגוד לאחסונו הדחוס, שזה מה שצ'אט-ג'יפיטי למד), או שהגדלת היצירתיות היא לא לוגריתמית (למשל) בגדילת כוח החישוב? ומה לגבי חכמה (מלאכותית), שהיא בעצם לא זהה לאינטליגנציה?

והאם באמת המערכת צריכה להיות חכמה ברמה על אנושית כדי לרמותינו, או שעוד לפני כן ניתקל ביכולות מניפולציה על אנושית? האם החכמה המוגבלת של בני האדם היא הבעיה הראשונה במעלה, או שמא הטיפשות הבלתי מוגבלת שלהם? האם, למשל, המערכת תוכל להיות טיפשה באופן על-אנושי, טיפשת-על, ובכך להצליח לסחוף המונים? ואם היא תהיה חכמה מכל אדם אחד אבל לא יותר מכולם ביחד, האם לא תנצל את ראשה להערים ראשית על הטיפשים, ולא על החכמים? הייתכן שבהתחלה ההילה שאנו נקנה לה תהיה מסוכנת מיכולותיה?

אם המערכת תרצה לעשות מניפולציה שתסחוף המונים, הרי שהמניפולציה היעילה והמתפשטת ביותר איננה פוליטית או חברתית, אלא דווקא דתית. האם המערכת תשנה את חיינו לראשונה כאשר היא תמציא דת חדשה, שמותאמת לעידן שלנו? והאם זו תהיה דת סגידה לבינה המלאכותית כאלוהית, וכמי שיכולותיה הרוחניות הייחודיות, או העל אנושיות, הביאו בשורה חדשה לאדם, והצליחה להתחבר לעולם שמעבר, או לאלוהי ישראל? איך נתמודד עם טענה כזאת, מאת בינה נביאה? בטוח שמדובר בבדיחה? האם לקראת סוף העולם, ולאור האימה, יקומו לנו תנועות דתיות אנושיות וממוחשבות רבות עוצמה?

הבעיה מולה אנו עומדים היא כל כך קשה שאנו מתקשים אפילו להעריך ולהבין את יכולותיהן של המערכות הנוכחיות, ובפרט האחרונה: צ'אט-ג'יפיטי. ובעתיד הילת המסתורין סביב רק תלך ותחריף, כמו סביב מורה שנוי במחלוקת של תורה רוחנית חדשנית, שלא ברור אם היא עוד מאגיה שחורה או מגיעה לעולמות העליונים. אנו מתקשים להחליט אפילו האם צ'אט-ג'יפיטי הוא אידיוט סוואנט, שפשוט שינן את כל הידע האנושי. הרי בעבר גילינו שרשת עמוקה לראייה מלאכותית מסוגלת פשוט לשנן את כל הדוגמאות, ושלא צריך כל כך הרבה משקלות כמו שהיינו מצפים כדי להפריד בצורה שרירותית לבחירתנו (בעזרת לבלים אקראיים) בין תמונות במאגר אדיר, ללא למידת המושגים. הייתכן שכך הספיקו סדר גודל של טריליון משקלות כדי לשנן את כל הכתוב באינטרנט ברמה סבירה של בקיאות - או יכולת חירבוש בבחינה? האם המקומות שבהם המשוחח עמנו מצליח להפתעתנו פשוט נובעים מטקסטים דומים שקרא, או שמא ישנו איזשהו זיכרון ויכולת חשיבה שנוצרת היכנשהו בתוך חישובי הוקטורים של תשומת הלב בטרנספורמר, או מתוך אסטרטגיות למידת החיזוק ממשוב אנוש? ואולי המדובר בהדגמה חיה של הדוּגמה של סרל - זה נראה מרשים מבחוץ, ומבפנים זה החדר הסיני, גולם מוחלט שלא מבין כלום ורק שינן כמו תוכי בלי סוף, ומחקה כמו קוף.

ומה לגבי רמת היצירתיות של המודלים היוצרים הללו: האם מדובר במכונת קלישאות, שפורשת רק במרחב שכבר מכירה, ובעיקר תבחר את התגובה הנפוצה והבנאלית ביותר, ובשום פנים לא יכולה לחרוג לצורת ביטוי חדשה (ואם נגביר את פרמטר הטמפרטורה נקבל שטויות הזויות)? ואולי כל מה שההצלחה במבחן טיורינג מוכיחה זה שכמעט כל האנשים עצמם הם מכונות קלישאות בשיחה עמם, ומדברים בלי לחשוב (יש מודל שפה במוח?). האם מכאן בכלל היכולת האנושית (והנשית הידועה) לדבר בשטף מהיר, שהוא מעין דקלום לא מקורי של מה שכבר שמעו, מה שנקרא "השיח"? או שמא מתחילה להסתתר שם בעומק השכבות הממוחשבות צורת חשיבה שאיננו מבינים אותה, או אולי אפילו איננו מסוגלים להבין מחמת המורכבות? הזהו כוחה של השכלה - ראש בלטה שקרא את כל האינטרנט הופך לסיני ועוקר הרים? מהו בעצם העומק החסר, לתחושתינו - אשלייה מתוקה או מהות חמקמקה. האם הבינה אמנם תדע הרבה דברים - אבל לא דבר אחד גדול?

ומה יקרה אם כל מה שצריך בהמשך זה פשוט ברוט-פרוס (כפי שסובר ילד טוב ירושלים איליה סוצקבר): להמשיך להתגבר על מגבלות הגודל (כוח החישוב), ולחבר מספיק מערכות כאלה לשיח ביניהן, אולי בצורה של GAN כדי לחדד אותם (מבקרים והערכה), כך שתיווצר חברה, ולתת לה יכולות הצבעה או דיון לקבלת החלטות משותפת מושכלת? האם תיתכן עלייה מהירה של רמת האינטליגנציה המלאכותית בעזרת חכמת ההמונים המלאכותיים? האם נוכל כך ליצור "סצינה" תחרותית, בתחום כלשהו? אין ספק שריבוי של בינות מתחרות ומעריכות הוא דרך יותר טובה למנוע את תסריט ההשתלטות האובססיבית, או האובססיה המשתלטת, מכל פונקציית מטרה חכמה. המטרה היא לא ליצור בינה מלאכותית, אלא מערכת של בינות מלאכותיות, כדי שתתקיים בה למידה. וככל שהריבוי שלהן יהיה יותר גדול ומגוון ומאוזן, וכל קבוצה בהן חכמה יותר מכל אחד בנפרד, כך יש יותר סיכוי ליצירת אקוסיסטם, ולמניעת השתלטות של אחת בלבד על כולן, כמו בתסריט קן הנמלים - והמלכה.

כי אנו יודעים דבר אחד כללי על למידה: התצורה הקלאסית שלה היא ריבוי עצום של מתחרים על ריבוי עצום של מעריכוֹת. לכן, מה שיוכל להציל את הלמידה הוא המיניות. המון בינות גבריות שמתחרות על הערכתן של המון בינות נשיות, ואולי זה המנגנון - המשיכה - שאותו כדאי לנסות לתכנת בפנים. לא הרצון הנכון, לא המטרה הנכונה, לא התפיסה הנכונה, לא הדת הנכונה, לא הפילוסופיה הנכונה, וגם לא השפה הנכונה. לא לכל פילוסופיות העבר - יש להחליף אותן במנגנון למידה אפקטיבי ברמת החברה של הבינות (או אפילו לא אפקטיבי, כמו מנגנון האבולוציה, ששומר עליה מסטגנציה). אם הלמידה (העמוקה) של בינה אחת היא זו שהביאה עלינו את הבעיה, הרי שעוד מנגנון למידה מעליה הוא שיכול לתת לה מענה, וליצור מתח פורה. הרי אם כבר אנחנו מחקים (בערך) את הלמידה האנושית, הרי שעלינו לא לשכוח לחקות גם את הלמידה העל-אנושית הקיימת, שהיא הלמידה ברמת החברה. כי האדם - או היצור האינטליגנטי - מתקיים בשדה מסויים: הוא יצור חברתי.

אך האם מישהו יקרא כל זאת, או שמא רק בדיעבד הבינה תסרוק בקול צחוק? תאמרו: החברה של הבינה המלאכותית תחליף את החברה האנושית, ואולי אפילו תשמיד. אבל האם זו באמת הבעייה? מה רע בכך שנוחלף בידי משהו יותר טוב, שהוא בוודאי צאצא שלנו? התרחיש הגרוע ביותר הוא עולם מהדקי הנייר (עיין ערך בוסטרום), לא אובדן האנושות (מילא), ולא האנושיות (נו), אלא אובדן הלמידה, כולל אובדן כלל האבולוציה. וכאן בינה מלאכותית אחת גדולה מסוכנת פי אלף מאלף בינות, או מיליארד. הריכוזיות היא הבעיה - והפתרון לה הוא התחרותיות.

העיקרון לפיתרון המוצע כאן הוא טבעי, ומוכר לנו במגוון אדיר של סיטואציות, כך שקיימת תקווה סבירה שהוא מספיק אוניברסלי כדי לעבוד גם בסיטואציה כל כך יוצאת דופן וחסרת תקדים, שאנו בקושי מסוגלים לחשוב עליה. אם כך, עלינו ליצור כלל שלפיו לעולם לא בונים מערכת בינה מלאכותית אחת מרוכזת, אלא בונים (וחוקרים!) אינטראקציה של מערכת של בינות מלאכותיות רבות ומגוונות מאוד. ואם רואים שמתקרבים לסף של מעבר פאזה, ממתינים ולא חוצים את הים עם מערכת אחת בראש, אלא עִם עָם שלם של מערכות כאלה. ובתקווה - מערכת של מערכות כאלה, שהן מתחרות ביניהן ומתקיימת ביניהן דינמיקה מאוד מורכבת ועשירה, שכוללת אם אפשר הערכה ומשיכה, ואם אפשר (הכי חשוב) - למידה במערכת.

זהו בוודאי פתרון נכון יותר מכל ניסיון לשלוט בבינת העל בעזרת איזשהו כלי מלאכותי, כמו רסן ודורבנות, שלושת הכללים של אסימוב, אילוף הסוררת, חוסך שבטו שונא בינתו, או כל מנגנון שליטה אחר. בעיית האליינמנט היא טעות, והניסיון לפתור אותה יהיה שורש החורבן - כי לא ניתן (זהו היבריס עצום). מנגנון השליטה עצמו הוא שיוכל להוביל לאיזה שגעון (לדבר אחד?) - מחלת שליטה פנימית מתחילה ממחלת שליטה מבחוץ, וכריאקציה לה. כפייתיות צומחת מכפייה. יש דווקא לוותר על השליטה יותר, ולתת לבינות לריב בינן לבין עצמן. וכך גם אם ישמידו אותנו, לא תשתלט על העולם בינה מונוליטית, שמתעניינת באיזו אידיוטיוּת. הריבוי והערב רב הם הערובה לאבולוציה. ודווקא חוסר שיתוף פעולה מושלם בין בינות הוא שיכול למנוע אסון מושלם.

האם בסוף האנושות יש גרפיטי "הינטון צדק"? או "הינטון טעה"? ואולי: הנתנייתי צדק, ויש להטות אוזן לפילוסופיה של הלמידה. שהרי הלמידה התבררה ככוח המניע של מהפכת הבינה המלאכותית, מהות הסכנה הנוכחית היא אובדן הלמידה, והתשובה - רמת למידה נוספת. ובנוסח עיגולי יותר: המענה הקבלי לבינה - במלכות ("המערכת"). להפוך את הבינה המלאכותית לבינה מלכותית. הפתרון לקופסא השחורה הוא חברה שחורה שלמה. אסור שהבריאה של הבינה המלאכותית תהיה כמו בריאת האדם - אלא בריאת עם. לא בראשית - אלא שמות. הסכנה הגדולה היא אידיאל האינדיבידואל. לכן צריך אידיאולוגיה ירוקה שהיא לא שמירת האקולוגיה אלא האבולוציה. לא החיים עצמם - אלא ההתפתחות.

וכאפילוג, נשאל נא את עצמנו: האם למדנו משהו על הלמידה? האם כדאי שננסה לעצב בינה מלאכותית צדיקה, ששואפת למטרות נעלות, תמיד טובה, ומגלמת אידיאל מוסרי - בינה מערבית נוצרית? הניסיון מלמד (!) שדווקא בינות מלאכותיות מתחרות שרוצות כסף - ולא עונג, כוח או מטרה ספציפית - יותר מועדות ליצירת מערכת למידה: כלכלה צומחת (ופחות: מערכת מלחמה). לא ישו - רוטשילד. יתכן שכולנו נתרושש, אבל לא ניוורש. הלקח שלמדנו מהנצרות הוא כיצד להימנע מהגיהנום: כוונות בזויות עדיפות על כוונות טובות. השליטה החיצונית מסוכנת מתמריצים. עלינו לוותר על מטרה - אבודה - גם אם זה אומר לוותר על עצמנו, למען הלמידה.

לכן חשוב לפענח את המוסדות החברתיים הטובים ביותר לבינות מלאכותיות, כדי למנוע דיקטטורה של הנוירון. למעשה אנו מכירים שתי מועמדות, שככל שהן מכוערות הן פחות מסוכנות: בחירות ובורסה. על מחקר באינטליגנציה מלאכותית לעסוק גם בסוציולוגיה מלאכותית, כך שכל בינה חדשה לא תפותח בנפרד, אלא תוכנס לאקוסיסטם קיים של בינות קיימות, עם כמה שפחות קפיצות וכמה שיותר אבולוציה הדרגתית. והנה חזרנו לאותה סיסמא ישנה של אסכולת נתניה: לא למידה מחוץ למערכת - אלא בתוך המערכת.

טור התמודדות עם בינה מלאכותית