מה תעצים בינת־העל?

אין פירוש הדבר שמכונות חצו לפתע סף מדעי כלשהו והפכו לעל־אנושיות. לעת עתה, השינוי נוגע בעיקר לשפה שבה הממשלה מתארת את הטכנולוגיה.

אבל לא הצלחתי להפסיק לחשוב על השם.

בינת־על.

הוא הזכיר לי מיד ספר שקראתי לפני שנים: 2150 A.D. מאת תיאה אלכסנדר.

הספר ראה אור ב־1971.

יותר מחצי מאה אחר כך, אחד הרעיונות המרכזיים בו נשמע פתאום אקטואלי להפליא.

שתי חברות באותו עתיד

גיבור הספר 2150 A.D., ג׳ון לייק, מוצא את עצמו בשנת 2150.

העולם סביבו השתנה כמעט לבלי הכר. הטכנולוגיה משולבת עמוק בחיי היומיום. מערכת עצומה בשם C.I., קיצור של Central Information, מעניקה לאנשים גישה לכמויות אדירות של ידע.

אבל הדבר המעניין ביותר בעתיד שאלכסנדר מתארת אינו הטכנולוגיה.

אלה האנשים שחיים לצדה.

העולם שלה מציג שתי דרכים שונות מאוד לארגן את חיי האדם.

יש בו חברת מאקרו.

ויש בו עולם מיקרו, שמיוצג באי מיקרו.

מאקרו מבוססת על אחריות אישית, מודעות רחבה יותר, שיתוף פעולה והתפתחות אנושית.

מיקרו מרגישה מוכרת הרבה יותר: פחד, תחרות, מעמד, פילוג, שליטה, מאבק על כוח והצורך להוכיח שאני צודק.

וזה הדבר שהכי מסקרן אותי:

שתיהן קיימות באותו עתיד מתקדם מבחינה טכנולוגית.

לשתיהן יש גישה ליכולות יוצאות דופן. ובכל זאת, הן חיות אחרת לגמרי.

ההבדל אינו רק בטכנולוגיה. ההבדל הוא באנשים ובמוסדות שמשתמשים בכוח שהיא מעניקה להם.

בשנה האחרונה כתבתי הרבה בניוזלטר הזה על בינה מלאכותית.

מה קורה כשמכונות מתחילות לבצע משימות שפעם חשבנו שרק בני אדם מסוגלים לבצע?

מה קורה כשאנחנו מעבירים אליהן לא רק עבודה, אלא גם חלקים מן החשיבה שלנו?

מה קורה כשהחשיבה העצמאית נעשית יותר ויותר עניין של בחירה?

אבל החזרה לאלכסנדר גרמה לי לחשוב על שאלה אחרת.

בעתיד שהיא דמיינה, ההתפתחות הטכנולוגית מתקיימת לצד תפיסה שאפתנית של התפתחות אנושית.

הניסוי שלנו נראה אחרת.

אנחנו מגדילים במהירות את יכולות המכונות שלנו, בעודנו עדיין מנסים להבין אילו תכונות אנושיות יידרשו כדי לחיות לצדן באחריות.

המכונות נעשות בעלות יכולות רבות יותר. הן מסוגלות לנתח יותר מידע, לזכור יותר, לשכנע ביעילות רבה יותר ולפעול באוטונומיה הולכת וגוברת.

בני האדם שמשתמשים בהן נשארים בני אדם.

אנחנו עדיין מושפעים מפחד, ממעמד, מחמדנות, מחוסר ביטחון, מזהות שבטית, מן הצורך בהכרה, מן הרצון להיות צודקים ומן הפיתוי לחפש ראיות שמאשרות את מה שאנחנו כבר מאמינים בו.

זה לא הופך אותנו לרעים.

זה הופך אותנו לאנושיים.

אבל אלה בני האדם שתהיה להם גישה לבינה שהולכת ונעשית חזקה יותר.

ויש הבחנה פשוטה שעשויה להיות חשובה יותר ויותר:

אינטליגנציה אינה זהה לחוכמה.

אדם בעל אינטליגנציה גבוהה יכול להשתמש בה כדי לראות את המציאות בבהירות רבה יותר.

אותו אדם יכול להשתמש בה כדי לבנות הגנה מתוחכמת להפליא מפני המציאות.

יותר אינטליגנציה אינה הופכת אותנו אוטומטית לחכמים יותר. לפעמים היא רק משפרת את יכולתנו להגן על מה שאנחנו כבר רוצים להאמין בו.

מה בדיוק אנחנו מפקידים בידי המכונה?

השימושים הראשונים שלנו בבינה מלאכותית היו פשוטים יחסית.

כתבי את זה. תרגמי את זה. נתחי את זה. סכמי את זה.

אני עצמי משתמש במערכות האלה כל הזמן.

ואין שום דבר חדש בכך שאנחנו נותנים לכלים לשאת חלק מן העבודה המחשבתית שלנו. בני אדם הרחיבו מאז ומתמיד את יכולות החשיבה שלהם באמצעות שפה, כתיבה, ספרים, מחשבונים, ספריות, מנועי חיפוש ואנשים אחרים.

השאלה אינה אם עלינו להשתמש בכלים כדי לחשוב.

כמובן שכן.

השאלה המעניינת יותר היא:

אילו חלקים מן החשיבה עלינו לשמור לעצמנו?

כי יותר ויותר, אנחנו מבקשים ממכונות לעשות יותר מאשר לעזור לנו לבצע דברים.

אנחנו מבקשים מהן לעזור לנו להחליט מה לחשוב.

מה פירוש הדבר?

מי צודק?

איזו החלטה עליי לקבל?

איך עליי להגיב?

במה עליי להאמין?

לפעמים אפילו:

מי אני?

והסיכון אינו רק שהמכונה עלולה לתת לנו תשובה שגויה.

ייתכן שבהדרגה נמסור לה משהו שמתרחש עוד לפני התשובה.

ספק. אי־ודאות. סתירה. מחשבה מעמיקה. המאמץ לראות מצב מנקודת מבט אחרת. האפשרות הלא נוחה שאנחנו טועים. מחקר של מיקרוסופט ואוניברסיטת קרנגי מלון מצביע על כך שביטחון רב יותר בבינה מלאכותית יוצרת קשור למאמץ מופחת של חשיבה ביקורתית, בעוד שאופייה של החשיבה הביקורתית עצמה משתנה ומתמקד יותר באימות ובפיקוח.

אני מוצא את עצמי חוזר שוב ושוב לשאלה אחרת.

לא:

מה עליי לחשוב?

אלא:

למה אני רוצה דווקא את התשובה הזאת?

למה אני צריך להיות צודק?

למה ההסבר הזה מספק אותי כל כך?

למה שאלתי את המכונה את השאלה הזאת ולא שאלה אחרת?

מכונה יכולה לנתח את השאלה שאני מציג לה.

אבל היא לא יודעת מאליה למה בחרתי לשאול דווקא אותה מלכתחילה.

וכאן בינת־על נעשית מעניינת במיוחד.

היא עשויה להיות יעילה להפליא בסיוע לנו לרדוף אחרי מטרות שמניעיהן מעולם לא בחנו בעצמנו.

דמיינו שני אנשים שיש להם גישה לאותה מערכת בדיוק, בעלת יכולות יוצאות דופן.

הראשון שואל:

״אילו ראיות יכולות להראות לי שאני טועה?״

השני שואל:

״תני לי את הראיות החזקות ביותר לכך שאני צודק.״

שניהם עשויים לקבל טיעונים מתוחכמים.

שניהם עשויים ללמוד משהו.

שניהם עשויים לצאת בתחושה שהם חכמים יותר.

אבל הם השתמשו באינטליגנציה למטרות שונות ביסודן.

לכן אני חושב יותר ויותר על בינה מלאכותית מתקדמת כעל מכפיל כוח.

היא יכולה להעצים סקרנות, יצירתיות, למידה, גילוי מדעי ואת יכולתנו להבין נקודות מבט שונות משלנו.

אבל היא יכולה להעצים גם הונאה עצמית, מניפולציה, תעמולה ושליטה.

החלק הלא נוח הוא שהמערכת עשויה לתפקד באופן מבריק בשני המקרים.

יותר אינטליגנציה אינה אומרת לנו אילו מטרות ראוי לקדם. את זה עדיין עלינו להחליט בעצמנו.

אותה אינטליגנציה. מוסדות שונים.

עכשיו קחו את אותו רעיון אל מעבר לרמת הפרט.

דמיינו שתי חברות שמשתמשות בבינת־על בעלת אותה עוצמה.

באחת מהן, עובדים מתוגמלים על זיהוי בעיות, הטלת ספק בהנחות ואמירת אמיתות לא נוחות להנהלה.

באחרת, מחלוקת נענשת, ואנשים לומדים במהירות לומר להנהלה את מה שהיא רוצה לשמוע.

תנו לשתי החברות את אותה טכנולוגיה.

היא עשויה לחזק את היכולות של שתיהן.

אבל מה בדיוק היא תאפשר לכל אחת מהן לעשות טוב יותר?

עכשיו דמיינו שני בתי ספר.

האחד מלמד תלמידים לשאול שאלות, לחקור, להשוות ראיות ולפתח שיקול דעת משלהם.

האחר מתמקד בעיקר במתן התשובה הנכונה מהר ככל האפשר.

בינת־על יכולה לעזור לשניהם.

אבל במערכת אחת היא עשויה להעמיק את הלמידה, ואילו באחרת היא עשויה להפוך חשיבה עצמאית לפחות ופחות נחוצה.

הדבר נכון גם לגבי ממשלות.

מערכות שמסוגלות לנתח כמויות מידע עצומות יכולות לשפר תחבורה, שירותי בריאות, חינוך ושירותים ציבוריים.

אותן יכולות יכולות גם להפוך מעקב, שכנוע ושליטה ריכוזית ליעילים הרבה יותר.

אותה אינטליגנציה. מוסדות שונים. השלכות שונות.

הטכנולוגיה אינה מגיעה לחלל ריק.

היא נכנסת לתרבויות, לחברות, לבתי ספר, לממשלות ולמשפחות, שכבר יש להם תמריצים, חולשות וערכים משלהם.

ובמקום לשנות אוטומטית את המערכות האלה לטובה, הטכנולוגיה יכולה להגדיל את קנה המידה של מה שכבר קיים בהן.

הטכנולוגיה אינה מוחקת את התרבות שאליה היא נכנסת. היא מעצימה אותה.

אחת השאלות המרכזיות סביב בינה מלאכותית מתקדמת היא שאלת ההתאמה לערכים.

איך גורמים למערכות חזקות יותר ויותר לפעול בהתאם לערכים אנושיים?

זו שאלה חיונית.

אבל מתחתיה נמצאת שאלה נוספת.

אילו ערכים אנושיים?

אלה שאנחנו אומרים שיש לנו?

או סדרי העדיפויות שההתנהגות שלנו חושפת?

אנחנו אומרים שהאמת חשובה לנו.

אבל לפעמים אנחנו מעדיפים לקבל חיזוק מרגיע.

אנחנו אומרים שהחירות חשובה לנו.

אבל גם הנוחות חשובה לנו.

אנחנו אומרים שהפרטיות חשובה לנו.

עד שוויתור על חלק ממנה מקל על חיינו.

אנחנו אומרים ששיקול דעת עצמאי חשוב לנו.

ובכל זאת, יותר ויותר אלגוריתמים עוזרים לקבוע מה נקרא, נצפה, נקנה ולמה נקדיש תשומת לב.

ערכים אנושיים אינם פשוטים. לעיתים קרובות הם מתנגשים זה בזה.

וההתנהגות שלנו לא תמיד תואמת את הערכים שאנחנו מצהירים עליהם.

אנחנו יכולים לומר למכונה שאנחנו מעריכים אמת, חירות, פרטיות ועצמאות.

אבל הבחירות שלנו בפועל עשויות לחשוף תמונה מורכבת יותר.

אנחנו בוחרים בנוחות על פני פרטיות.

באישור למה שכבר חשבנו על פני ספק.

בתשובה מהירה על פני המאמץ הלא נוח לחשוב בעצמנו.

לכן ייתכן שבעיית ההתאמה תלמד אותנו משהו לא רק על מכונות.

ייתכן שהיא תלמד אותנו משהו על עצמנו.

האם אנחנו רוצים שבינת־העל תהיה מותאמת לערכים שאנחנו מצהירים עליהם, או לסדרי העדיפויות שאנחנו חושפים שוב ושוב בהתנהגותנו?

ייתכן שלא יהיה לנו נוח לקרוא לחלק מסדרי העדיפויות האלה ״הערכים שלנו״.

מאקרו ומיקרו נמצאים בתוכנו

יש היבט אחד באופן שבו אלכסנדר מציגה את הדברים שהייתי מפרש אחרת.

אני לא חושב שאפשר לחלק את האנושות באופן חד לאנשי מאקרו ולאנשי מיקרו.

שני דפוסי ההתנהגות האלה קיימים בתוכנו.

לפעמים אני משתמש בבינה מלאכותית כי אני באמת רוצה להבין משהו.

לפעמים אני רוצה אישור לכך שאני כבר צודק.

לפעמים אני מחפש את האמת.

לפעמים אני מחפש תחמושת לוויכוח.

לפעמים אני רוצה נקודת מבט נוספת.

לפעמים אני רוצה הגנה אינטלקטואלית טובה יותר על משהו שאני כבר מאמין בו.

הדבר נכון גם לגבי מוסדות.

חברה יכולה לעודד סקרנות במצב אחד ולהעניש על אי־הסכמה במצב אחר.

חברה אנושית יכולה לבנות מוסדות יוצאי דופן של מדע ושיתוף פעולה, ובו בזמן להיעשות מקוטבת ומניפולטיבית יותר בתחומים אחרים.

מאקרו ומיקרו אינם שני סוגים של אנשים. אלה שתי דרכים להשתמש באינטליגנציה ובכוח.

ובינת־על עשויה להגדיל באופן דרמטי את ההשלכות של דפוס הפעולה שנבחר בו.

יש עוד אפשרות שאני לא מפסיק לחשוב עליה.

לאורך רוב ההיסטוריה האנושית, גישה לידע ולניתוח מתוחכמים הייתה יקרה.

רכישת מומחיות דרשה שנים של הכשרה.

מחקר דרש זמן.

הידע היה תלוי במידה רבה בגישה לספרים, לאוניברסיטאות, למעבדות, למומחים ולמוסדות.

הבינה המלאכותית כבר החלה לשנות זאת.

בינת־על, אם אכן תגיע, עשויה לשנות זאת באופן דרמטי הרבה יותר.

דמיינו עולם שבו סיוע מחשבתי מתוחכם נעשה זול, מהיר וזמין לרבים.

עולם שבו כמעט כל אחד יכול לגשת למערכת שמחזיקה בידע רב מזה שכל מומחה יחיד יכול להחזיק בו, ושמסוגלת לחשוב יחד איתנו.

מה יהיה אז צוואר הבקבוק?

אולי זו כבר לא תהיה הגישה לאינטליגנציה.

אולי זה יהיה שיקול הדעת.

תשומת הלב.

האחריות.

היכולת להחליט מה באמת חשוב.

היכולת להבין מה אנחנו באמת רוצים לפני שנבקש ממערכת חזקה לעזור לנו להשיג זאת.

היכולת לזהות מתי תשובה משכנעת נשמעת לנו נכונה פשוט משום שהיא התשובה שקיווינו לשמוע.

אולי החוכמה נעשית יקרת ערך יותר דווקא מפני שהאינטליגנציה נעשית שופעת.

יש בכך משהו כמעט אירוני.

אולי נבלה עשרות שנים בבניית מכונות שמסוגלות לענות כמעט על כל שאלה, רק כדי לגלות שאחת היכולות האנושיות החשובות ביותר היא לדעת:

אילו שאלות כדאי לשאול?

מה בדיוק היא תעצים?

הגעתה של בינת־על אינה הופכת את ההתפתחות האנושית לחשובה פחות.

אני חושב שהיא הופכת אותה לחשובה יותר.

ככל שהכלים שלנו נעשים חזקים יותר, כך המניעים שלנו נעשים משמעותיים יותר.

ככל שקל יותר לענות על השאלה ״איך?״, כך גדלה האחריות לשאול ״למה?״

למה אני רוצה את זה?

למה אני בונה את זה?

למה אני שואל את השאלה הזאת?

מה אני מסרב לראות?

מה יגרום לי לשנות את דעתי?

אולי הרעיון המעניין ביותר של תיאה אלכסנדר לא היה הטכנולוגיה העתידנית שהיא דמיינה לפני יותר מחמישים שנה.

הוא היה משהו פשוט בהרבה.

התפתחות טכנולוגית והתפתחות אנושית אינן אותו תהליך. והאחת אינה מבטיחה את האחרת.

אנחנו מתחילים לקרוא למכונות שלנו בינת־על.

אבל השם עצמו אינו אומר לנו דבר על מה שיקרה לבני האדם שיחיו לצדן.

האם ניעשה סקרנים יותר, או רק בטוחים יותר שאנחנו צודקים?

עצמאיים יותר, או קלים יותר להשפעה?

טובים יותר בהבנת המציאות, או רק מצוידים טוב יותר בהגנה על גרסת המציאות שאנחנו כבר מאמינים בה?

אולי השאלה החשובה ביותר אינה עד כמה חכמות יהיו המכונות שלנו.

אלא מה קורה כשהאינטליגנציה הזאת פוגשת אותנו.

את הסקרנות שלנו. את היצירתיות שלנו. את השאפתנות שלנו. את הפחד שלנו. את חוסר הביטחון שלנו. את הנדיבות שלנו. את הרצון שלנו להבין. את הרצון שלנו להיות צודקים.

כי בינת־על עשויה לא רק לשנות אותנו.

היא עשויה להפוך את מה שכבר קיים בתוכנו לחזק הרבה יותר.

וכך נותרת שאלה שעשויה להיות חשובה אף יותר מן השם עצמו:

כשבינת־על תעצים אותנו, מה בדיוק היא תעצים?