יום חמישי, 20 ביוני 2013

על ייחוס, הטיות בחירה ורמי אמיתי

כשחיפשתי נתונים על נשירה מבתי ספר לתזה שלי, דוקטור גוגל הקפיץ לי את הכתבה הזאת. הכתבה כבר די ישנה ומבחינות מסוימות לא רלוונטית אבל היא מאפשרת לי להסביר כמה דברים חשובים על סיבתיות. בכתבה נידונה השאלה האם יש לפרסם את "מדד הנשירה" לצד ממוצעי הבגרות של בתי ספר תיכוניים בישראל. מה בכלל הסיבה שמדדים כאלו יעניינו מישהו ועל מה כל הויכוח ? את התשובה אפשר לסכם במילה "ייחוס". לא מדובר במובן האריסטוקראטי של המילה אלא בשאלה למה אנחנו מייחסים את התופעה. במקרה של בתי ספר, השאלה היא האם אנחנו מייחסים את ההבדלים בממוצעי הבגרויות (ואת שיעור הנשירה) להבדלים בין קבוצות התלמידים או להבדלים בין בתי הספר. זה נשמע קצת אותו הדבר לא ? זה לא. כדי לפשט את העניין בואו ניקח רק שני בתי ספר לדוגמא. נקרא להם א' וב'. בדקנו ומצאנו שממוצע הבגרות בבית הספר א' גבוה יותר. נניח גם שבדקנו לאורך זמן והתוצאה הזאת חוזרת על עצמה כל שנה. האם ניתן לומר כעת שבית ספר א' מכין את התלמידים לבגרות בצורה טובה יותר ? לא. יכול להיות שבתי הספר האלו משרתים אוכלוסיות תלמידים שונות והאוכלוסייה של בית ספר א' עמידה יותר, חזקה יותר או מגיעה ממקומות שבהם מערכת החינוך הטרום תיכונית טובה יותר.

השאלה האם לייחס את ההבדלים בין קבוצות למאפיין של הקבוצה (בית ספר טוב יותר בדוגמא שלנו) או למאפייני היחידים היא שאלה חשובה מאוד במדעי החברה. רבים מהמחקרים במדעי החברה, ולא רק, עוסקים בהבדלים בין קבוצות. דוגמאות ? בבקשה. האם יש הבדל בין השכר הממוצע של נשים לזה של גברים ? האם שחורים נוטים להצביע למפלגה הדמוקראטית יותר מאשר לבנים ? האם אלו שיש להם חיית בית מחלימים מהר יותר מניתוחי לב ? האם הנבדקים שקיבלו את התרופה מרגישים טוב יותר ? האם אלו שהלימונדה ששתו הומתקה בגלוקוז מצליחים יותר במטלה שדורשת הקצאת קשב ? האם אלו שבבדיקת הקולנסקופייה השאירו להם את הצינור ברקטום גם לאחר סיום הבדיקה (אבל את החלק הזה עשו פחות עמוק) יחזרו על הבדיקה דווקא יותר מאלו שבסוף הבדיקה פשוט שחררו אותם ? (התשובה אגב, היא כן). יכול להיות ששמתם לב שבשלושת הדוגמאות הראשונות השיוך לקבוצה הוא תכונה של הנבדק ולכן עורכי המחקר לא יכולים לשלוט על שיוך הנבדק לקבוצה. עורכי המחקר לא יכולים לקחת קבוצה של אנשים חסרי מגדר ולחלק אותם ל"קבוצת הנשים" ו"קבוצת הגברים". צביעת עורם של אנשים לצורך מחקר היא אפשרית אבל אדם שעורו נצבע אינו "לבן" או "שחור" מבחינת המשמעות החברתית של הביטויים. לעומת זאת, חוקרים יכולים לקבוע מי מהנבדקים יקבל תרופה ולמי יעריכו עוד קצת את הבדיקה. השיטה הטובה ביותר לחלוקת נבדקים לקבוצות (מה שנקרא לפעמים "הקצאה") היא הגרלה, חלוקה מקרית. חלוקה מקרית יכולה להתגבר על שתי בעיות שנקראות "הטיות בחירה" ויכולות ליצור טעויות בהסקת המסקנות לגבי ייחוס ההבדלים לנבדקים או לקבוצה.

שני סוגים של הטיות בחירה הן "הטיית בחירה עצמית" ו"הטיית בחירה חיצונית". הטיית בחירה עצמית הוא מצב שבו אנשים בעלי מאפיינים מסוימים נוטים לבחור להשתייך לקבוצה אחת ולא לשנייה. דוגמא, נניח שנרצה לבדוק האם שימוש בתרופה כלשהי עוזר להפסיק לעשן. נחלק את הנבדקים שלנו לשתי קבוצות, קבוצת שתקבל את התרופה האמיתית וקבוצה שתקבל תרופת דמה ונבדוק האם בקבוצה שקיבלה את התרופה האמיתית ירד מספר הסיגריות היומי יותר מאשר בקבוצה שקיבלה את תרופת הדמה. כל זה טוב ויפה, אבל אם נשאל בתחילת התהליך כל נבדק לאיזו קבוצה הוא רוצה להצטרף, סביר להניח שאלו שיש להם יותר מוטיבציה יבחרו בקבוצת התרופה האמיתית ולכן התוצאה הסיבה לירידת כמות הסיגריות היא לא התרופה אלא המוטיבציה. הטיית בחירה חיצונית הוא מצב שבו הנבדקים מחולקים לקבוצות שלא על פי בחירתם אבל בכל זאת בצורה שהקבוצות שונות במאפיין חשוב עוד לפני תחילת המחקר. למשל, אם ניתן לרופא להחליט לאיזו קבוצה לשייך את הנבדקים מהניסוי הקודם, יכול להיות שהוא ישלח את אלו שלדעתו נמצאים בסיכון גבוהה יותר לתחלואה עקב עישון לקבוצה שתקבל את התרופה האמיתית. הבעיה במחקר היא אותה הבעיה.

כלומר, במחקרים בהם מחלקים נבדקים לקבוצות חשוב לעשות זאת באופן מקרי (או לכל הפחות על סמך מידע שאינו קשור לנושא המחקר). אבל מה לגבי מצב שבו בוחנים הבדלים בין קבוצות קיימות ? כפי שאמרנו, לא ניתן להחליט באופן מקרי האם נבדק יהיה גבר או אישה או מה יהיה צבע עורו. הבעיה הזאת מאפיינת כמעט את כל המחקרים שנערכים בשטח ולא במעבדה. ברוב מחקרי השטח אין לחוקר שליטה על חלוקת הנבדקים ולכן תמיד יכולה לעלות השאלה האם ההבדל נובע ממאפייני הנבדקים לפני החלוקה לקבוצות או ממה שקרה לאחר מכן. הדוברים בכתבה מדברים בדיוק על הבעיות האלו. השוואה של בתי ספר שמגיעים אליהם תלמידים משכבות שונות באוכלוסיה (הטיה של בחירה עצמית) ונתוני קבלה שונים בבתי ספר שונים (הטיה של בחירה חיצונית).

על הרקע הזה ניתן גם לקבל את דבריו של רמי אמיתי (שמובאים בסוף הכתבה). רמי אמיתי טוען כי ניסיון לגרום לכל התלמידים לסיים את בית הספר משדר מסר בעייתי שתלמיד יוכל לעשות מה שהוא רוצה ובכל זאת לא יסולק מבית הספר. אם נעזוב לרגע את ענייני המחקר, אני מסכים עם הטיעון הזה וחושב שאין טעם להחזיק בבית הספר תלמיד שהשהות בבית הספר לא מועילה לו (ולא לבית הספר), ואולי גם פוגעת. אבל חשוב לשים לב שזה לא קשור לפרסום מדד נשירה. כיוון שסביר להניח שבכל בית ספר תהיה נשירה מסוימת, המדד משווה בין בתי ספר קיימים ולא בהכרח בין המצב הקיים למצב תיאורטי של אפס נשירה. מה שניתן לטעון הוא שלמטרת השוואה בין בתי ספר המדד בעייתי בגלל הטיות בחירה אישית. יכול להיות שלבית ספר אחד הגיעו יותר תלמידים שיש להם פוטנציאל נשירה ("יש לו פוטנציאל נשירה...") מאשר לבית ספר אחר.

כן ? אז זהו, שלא בדיוק.

המצבים שבהם יש חלוקה מקרית של נבדקים לקבוצות למרות שמדובר במחקר שטח ולא מעבדה הם לא שכיחים אבל קיימים. מה שמעניין הוא שמצב כזה התקיים בכפר סבא בשנים הראשונות לקיומו של בית ספר גלילי. בערך באמצע כיתה ט', כשהגשתי בקשה להתקבל ל"תיכון עיוני" בכפר סבא, ידעתי שאני לא יכול לבחור בין שני בתי הספר העיוניים שיהיו אז בעיר (בתי הספר גלילי וכצנלסון). ידעתי שכל תלמיד שעומד בסף הקבלה (האחיד) של בתי הספר האלו יכול להגיש בקשה ומשובץ לבית הספר על ידי "המחשב של העירייה". את זה ידעתי, מה לא ידעתי ?

לא ידעתי שהמשמעות היא שדווקא ניתן לומר שהבדלים בין בתי הספר לא נובעים מהבדלים בתלמידים שהגיעו לבית  הספר (כי הם חולקו מקרית) אלא מהבדלים בבתי הספר עצמם. לא ידעתי שהמחשב ישבץ אותי בבית הספר גלילי ושרמי אמיתי יהיה מנהל בית הספר שלי. לא ידעתי שאני אהיה חלק מנתוני הנשירה (אם כי אני לא בטוח שזה היה מפתיע אותי). והכי חשוב, לא ידעתי שכמה שנים אחר כך אני אלמד באוניברסיטה על שיטות מחקר ואוכל לכתוב בבלוג שלי: רמי, אם יש לך מדיניות ויש לה נימוקים טובים (וכאמור, אני חושב שכן), תעמוד מאחוריה ועל תנסה להתנגד לפרסום של מדדים שבודקים את התוצאות של המדיניות הזאת.

אין תגובות:

הוסף רשומת תגובה