יום רביעי, 16 בנובמבר 2011

בייסיאניזם: כלל החיבור


[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

הנחנו כבר את ההנחות שיאפשרו לנו להוכיח את משפט המפתח של הגישה בייסיאנית - משפט קוקס*. הוא גורס, בערך, שהסבירויות של טענות חייבות להתאים לתורת ההסתברות. כדי להוכיח אותו, אנו חייבים לפיכך לקשר את הסבירויות להנחות של תורת ההסתברות. אלו נוסחו על ידי קולמוגורוב בשנות השישים. הנחה יסודית היא "כלל החיבור", שניתן לנסח כך:

כלל החיבור של קולמוגורוב: ההסתברות שיתרחש אחד משני מאורעות הסותרים זה את זה היא הסכום של ההסתברויות של כל אירוע בנפרד.

כדי להסיק כלל דומה נתבונן בסכום (יחס הבידול הלוגי "A או B") של שתי טענות. כבר הראנו שהסבירות שלו היא באופן כללי פונקציה של ארבעה סבירויות.
(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X)]
עכשיו נתמקד במקרה שבו שתי הטענות סותרות זו את זו כך ש A|B)=(B|A)=vF). במצב זה אפשר לכתוב
(A+B|X)=F[(A|X),(B|X),vF,vF]
כך שהפונקציה תלויה רק בשני משתנים. נרשום בקיצור
(A+B|X)=F[A,B]
עתה נשקול שלושה טענות (A,B,C) הסותרות זו את זו. נשים לב שנובע מכך שכל הסכומים החלקיים שלהן סותרים זה את זה גם כן (A+B סותר את C וכדומה). אנחנו לפיכך יכולים להשתמש בצורה המקוצרת של F כדי לרשום
(A+B+C|X)=((A+B)+C|X)=F[A+B,C]=F[F[A,B],C]
(A+B+C|X)=(A+(B+C)|X)=F[A,B+C]=F[A,F[B,C]]
נשווה את שתי המשוואות
F[F[A,B],C]=F[A,F[B,C]]
מה שיש לנו כאן זה פונקציה [F[x,y עם שני משתנים, המקיימת
F[F[x,y],z]=F[x,F[y,z]]
פתרון (שאפשר להוכיח על ידי הצבה) הוא
F[x,y]=f-1(f(x)+f(y))
או באופן שימושי יותר למטרותינו
f(F[x,y])=f(x)+f(y)
f(A+B|X)=f(A|X)+f(B|X)
זוהי תוצאה חשובה שכן היא שקולה לחוק החיבור של קולמוגורוב. הראינו כי קיימת פונקציה f המאפשרת לנו להגדיר מחדש את הסבירות כך שהסבירות שטענה אחת משתיים הסותרות זו את זו היא נכונה היא הסכום של הסבירויות של כל טענה בנפרד.

כדאי לשים לב מה כלל חיבור זה אומר על ההשלמה. במקרה שבו B=A אנחנו מקבלים

משפט 3.4: השלמה: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את יחס ההשלמה
f(A|X)+f(A|X)=fT

כלל חיבור זה מגניב, אבל הוא לא ממש שימושי כי אפשר ליישם אותו רק לטענות הסותרות האחת את השנייה. היה נחמד אם היינו יכולים לנסח כלל חיבור לכל שתי טענות. אז זהו, שאפשר. המפתח הוא לשים לב לכך שאנו יכולים לפרק את סכומן של כל שתי טענות A ו-B לשלושה טענות המדירות זו את זו.
A+B=(AB)+(AB)+(AB)
מכלל החיבור שהגענו אליו נובע לכן
f(A+B)=f(AB|X)+f(AB|X)+f(AB|X)
אנחנו יכולים לחבר ולהחסיר (f(AB לצד ימין כדי לקבל
f(A+B)=(f(AB|X)+f(AB|X))+(f(AB|X)+f(AB|X))-f(AB|X)
נשתמש שוב בכלל החיבור
f(A+B)=f(AB+AB|X)+f(AB+AB|X)-f(AB|X)
ומכיוון ש AB+AB=A ו AB+AB=B,  
f(A+B)=f(A|X)+f(B|X)-f(AB|X)
זהו כלל חיבור כללי, התקף לכל שתי טענות.

משפט 3.5: כלל החיבור: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את כלל החיבור
f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)
* ההוכחה של משפט קוקס שאני משתמש בה מבוססת על ההוכחות של קאטיצ'ה (Ariel Caticha).
Quantifying Rational Belief

2 תגובות:

  1. אני מחכה לעוד פוסטים! אני חייב לציין שאחרי סקירה של הפילוסופיה במאה האחרונה, יצאתי פסימי נורא :/
    נראה שפרגמטיזם הרס כל חלקה של סמכות לפנות אלייה בנוגע ל-"אמת".

    השבמחק
  2. לצערי, המעבר (הזמני) לקנדה גוזל זמן רב משציפיתי. אבל הפוסט הבא בסדרה כבר כמעט מוכן, ואני מקווה לפרסם אותו בשבוע הבא. אבל נראה לי שאני אתמקד יותר בהערות קצרות והפניות עד שאני אגיע לאיזו שגרה פה.

    באשר לפרגמטיזם - מעולם לא למדתי את הנושא רשמית (תאשים את האוניברסיטה העברית), ולא התעמקתי בזה מספיק. אבל באופן כללי, אני חושב שיום די הרס כל חלקה של סמכות באשר לאמת כבר לפני הרבה זמן, ואילו פרגמטיזם דווקא דורש הנחות מסוימות על המציאות (שלא שונות, בחשבון האחרון, מההנחות הרציונליות-נטורליסטיות הרגילות). אבל כאמור - זו לא דעה מאוד מלומדת בנושא.

    השבמחק