"מחקר מצא כי…" – מורה נבוכים למחקרים מדעיים
בן בלק עם תשעה כללי אצבע שאיתם ניתן לנווט בתוך עולם הפרסומיים המדעיים ולדעת מתי אפשר לסמוך על המחקר ומתי ממש לא.
"מחקר מצא כי…". הפתיחה הזו מהלכת קסם על הרבה אנשים. כנראה שעם כל הספקנות שלנו, בכל זאת הפנמנו איזושהי יראת כבוד לשיטה המדעית. שזה כמובן מצוין וחשוב. ואף על פי כן, חשוב גם להכיר את מגבלות השיטה המדעית. אכן, כפי שחשדתם, מדענים לפעמים טועים. אבל לעתים קצת יותר קרובות הם פשוט קובעים קביעה אשר הבסיס הלוגי או הראייתי שלה חלש מכדי למצב אותה כעובדה. זו לאו דווקא טעות במובן היומיומי של המילה, ובדר"כ גם לא עניין של חוסר כנות. אולי יומרנות תהיה תיאור יותר מדויק.
יהיו כאלה שיטענו שאין להדיוטות את הכלים לבחון אם טענה מסוימת היא מבוססת או לא, ושעלינו פשוט להאמין למומחים. אני לא מתווכח עם המהות של טענות כאלו, אבל הן כן מעלות סט אחר של תהיות. מיהו מומחה? האם כל המומחים נולדו שווים? בעולם שבו לכוכבת פופ יש את אותו קול כמו לאינספור פרופסורים לאימונולוגיה באשר לבטיחותם של חיסונים (ומערכת הגברה הרבה יותר יעילה), ובעידן של אמון הולך ופוחת במערכות המדינתיות מחד, ובתקשורת הממסדית מאידך, אין ל"הדיוטות" את הפריווילגיה להיות מאזינים פאסיביים. אנחנו מטילים ספק ושואלים שאלות, וטוב שכך. אבל הטלת ספק לא צריכה להתבטא בדחייה גורפת של כל מומחיות שהיא. תחת זאת, היא צריכה להוביל אותנו לקבל החלטות באופן מושכל, תוך הבנת ההקשר החברתי-מוסדי שבמסגרתו טענות שונות נטענות ומתקבלות.
חשוב לי להדגיש שאין פה כל קריאה לאנטי-מדע, אלא להיפך. יש פה קריאה למדע טוב, ודגש על הצורך להבחין בין מדע טוב למדע רע, כי בלי עין הרע, יש הרבה מאוד מדע רע (לצד הרבה מאוד מדע טוב). במילים אחרות, כולנו מסכימים שרק בגלל שמשהו כתוב בעיתון, זה לא אומר שזה נכון. אבל איפה זה משאיר אותנו? כיצד נוכל לדעת אילו קביעות עלינו לקבל כהווייתן, אילו טענות צריכות להתקבל עם קמצוץ של מלח, ואילו טענות אפשר לזרוק לפח?
ובכן, חיברתי מדריך קצר שיעזור לנו להתמצא בעולם המסועף של מאמרים, פרסומים ומחקרים. האינטרנט עמוס לעייפה בטקסטים המתיימרים לייצג סמכות מדעית כזו או אחרת (אתם קוראים אחד כזה ברגעים אלו ממש). חלק מהטקסטים הם מעוררי מחשבה ופוקחי עיניים. חלקם סתם מיותרים. ואילו אחרים הם מזיקים ואף עשויים להיות הרסניים. בבואכם לקרוא על נושא הקרוב לליבכם על מנת לקבל החלטה באופן מושכל, חשוב שתדעו בפני מה אתם עומדים. אז להלן מדריך להוצאת המוץ מן התבן, בתשעה סעיפים:
- ראשית, זכרו: לא כל המחקרים נולדו שווים!
ישנם מחקרים אשר שינו את האופן בו אנו מבינים את פעולתו של גוף האדם, ושיישומיהם שינו את פני המדע והרפואה. לצד אלו, ישנם מחקרים שלא שווים את הנייר שעליו הם מודפסים (או את השרת הדיגיטלי שבו הם מאוכסנים). הטענה ש"מאמר שהתפרסם בכתב העת X מצא כי Y" לא אומרת לנו דבר על איכותו של המחקר שקדם למאמר, ועל מהימנותם של הממצאים שפורסמו. יתכן שמדובר בתגלית מופלאה. ויתכן שמדובר בחנטריש גמור שמקומו בפח הזבל. ובכל זאת, כתובים בו דברים שעשויים לשמש לנו תועלת. אז להתעלם? מה פתאום. פשוט להתקדם בזהירות.
- יש להבחין בין מאמר למאמר אקדמי
ישנן אינסוף פלטפורמות שבהן יכול אדם לבחור לפרסם את טענותיו, מופרכות ככל שיהיו. ספרים, מגזינים, עיתונים יומיים, בלוגים, הרצאות (כן, גם הרצאות טד) – כולם עשויים להכיל קביעות המתיימרות להיות מעוגנות במדע, אבל הן פשוט לא. אז איך יודעים מה מבוסס ומה משוער? מה נכון ומה שגוי? מה אמין ומה שקרי? ובכן, העוסקים במלאכת המדע והרפואה פיתחו מנגנון המאפשר לוודא, במידה לא מועטה של הצלחה, שרק מחקרים ראויים יתפרסמו בפלטפורמות היוקרתיות ביותר. מנגנון זה מכונה "ביקורת עמיתים" או "שיפוט עמיתים", ובאנגלית peer review.
בקווים כלליים, כך עובדת השיטה: חוקרת ערכה מחקר, אספה ממצאים, ניסחה אותם לכדי טענה (נניח, שצריכת קינמון מפחיתה את הסיכון לשפעת), וכעת מבקשת לחלוק אותה עם הקהילה המדעית. על כן היא כותבת טיוטת מאמר (הנקראת גם כתב-יד) ושולחת אותו לעורכת של כתב עת מסוים. ראשית, העורכת תבחן את כתב-היד בצורה שטחית, על מנת לוודא שהוא עומד בקריטריונים הבסיסיים ביותר לפרסום מדעי. לאחר מכן, היא תישלח אותו למספר חוקרים בעלי שם בתחום הספציפי הזה (בין 2 ל 8 שופטים, תלוי בטיב כתב העת ובחדשנות של הטענה), אשר תפקידם הוא להעיר על איכותו של כתב-היד – ובעיקר, על איכותו של המחקר שעליו הוא מבוסס – לפי הקריטריונים המקובלים בתחום. או אז עומדות בפני השופטים שתי אפשרויות:
ראשית, השופטים עשויים פשוט לדחות את כתב-היד. מדוע? אולי מפני שהמחקר נערך בצורה רשלנית. או אולי החוקרת לא אספה די ראיות. ואולי הטענה המרכזית פשוט לא נובעת בהכרח מהממצאים. להבדיל, השופטים עשויים למצוא ערך במאמר, אך ימליצו לפרסמו רק לאחר שמהמחברת תערוך בכתב-היד כל מיני תיקונים נדרשים (נדיר מאוד שבכתב עת רציני מאמר כלשהו יתקבל ללא תיקונים). לאחר שהמחברת תערוך את התיקונים, היא תשלח אותו שוב לביקורת, וחוזר חלילה. עד שלבסוף, כתב-היד מתקבל, עובר עריכה והגהה, ומתפרסם אחר כבוד כמאמר אקדמי.
התהליך, במיטבו, הוא אנונימי לחלוטין – המחברת לא יודעת מיהם השופטים, והשופטים לא יודעים מיהי המחברת, וזאת על מנת למנוע שיקולים זרים ועיוותים על רקע אישי/פוליטי. שיפוט עמיתים הוא תהליך איטי ומפרך, וזו אחת החולשות שלו. אבל מנגנון זה הוא הכרחי על מנת לוודא שרק טענות מבוססות יבשילו לכדי פרסום מדעי. העורכת מצידה תקפיד על שלמותו של התהליך כדי לוודא שהמוניטין המקצועי שלה ושל כתב העת שבראשו היא עומדת לא יפגעו מפרסום פזיז שיתברר במהרה כשגוי, שקרי, או סתם לא רלוונטי.
כקוראים מן השורה שלאו דווקא מיומנים בבחינה מדוקדקת של מתודולוגיה, סטטיסטיקה ולוגיקה, לא נותר לנו אלא לסמוך על העורכת, השופטים, והקהילה האקדמית שיקפידו שהמנגנון הזה יקיא מתוכו מחקרים לא ראויים, ושאנחנו נישאר רק עם היהלום המלוטש.
האם זו שיטה חפה מבעיות? ודאי שלא. אבל כמו האמירה המפורסמת לגבי השיטה הדמוקרטית, זו אולי שיטה גרועה, אבל היא הכי טובה שיש לנו. ובכל מקרה, כבר ניתן לנסח כלל אצבע אחד ברור ונחרץ: פרסום המתיימר להיות מדעי לא עבר ביקורת עמיתים? אז אין כל סיבה לתת בו אמון.
- אני מחזיק ביד מאמר, מנין לי היכן הוא התפרסם ועד כמה כתב העת הזה הוא אמין?
זה כבר הרבה יותר פשוט. בראש המאמר כתוב שמו של כתב העת באותיות מודגשות. מקריאת השם לא ניתן להבין דבר, כיוון שכתבי עת רבים נוטלים לעצמם שמות מפוצצים שאין מאחוריהם דבר. כדי לדעת מהו טיבו של כתב עת (או במילים אחרות, כדי להתרשם עד כמה מנגנון ביקורת העמיתים שלו הוא תקין) יש לגשת לאחד המאגרים ברשת המספקים דירוג של כתבי העת האקדמיים. גם הדירוג הזה לא חף מבעיות, אבל שוב, זה הכי טוב שיש לנו, ודאי למי שלא בקי בעולם הזה. האתר הזה לדוגמה הוא נגיש ואמין בסך הכל. כתבו את שם כתב העת בשורת החיפוש, ובדקו את התוצאות. הוא זכה לדירוג Q1? מדובר בכתב עת רציני. Q2? קצת פחות. Q3? גבולי. כל דבר פחות מזה, או אם כתב העת כלל לא מופיע במאגר, יש לקחת את המאמרים שפורסמו בו בעירבון מוגבל מאוד. בנוסף –
- היזהרו מכתבי עת טורפים (predator journals).
בעשור האחרון חלה עליה ניכרת במספר כתבי העת המתיימרים להיות מדעיים, אבל כאלו שכל עניינם הוא לעשות כסף מפזיזותם של חוקרים בראשית דרכם. זה עובד ככה: יזם מפוקפק כלשהו מקים כתב עת, נותן לו שם כמו European Journal of Engineering Research, ומתחיל לפנות לחוקרים בהצעות לפרסם את מחקריהם אצלו. אותם חוקרים צעירים מסתנוורים מתשומת הלב החיובית ומההזדמנות לשדרג את קורות החיים שלהם, ושולחים לו את מאמריהם. אלו מתפרסמים ללא כל ביקורת עמיתים, ובמקרים רבים אף ללא כל עריכה או הגהה. כדי להוסיף חטא על פשע, אותם חוקרים אף מתבקשים לשלם בעצמם עבור הוצאות הפרסום, אשר הינן למעשה לא יותר מהכנסה נקיה עבור המו"ל (ברובם המוחלט של המקרים מדובר בכתבי עת מקוונים). להלן רשימה המתעדכנת כל הזמן של כתבי עת טורפים. המאמר שאליו הפנו אתכם התפרסם בכתב עת שמופיע ברשימה הזו? התעלמו ממנו אחר כבוד. (כן, ישנו סיכוי קטן שדווקא המאמר הזה אכן יש בו ערך, והוא מצא את עצמו בין דפי כתב העת הטורף רק בשל פזיזותו של החוקר. אבל אין לנו שום דרך לדעת אם זהו המצב, וללא ביקורת עמיתים על ידי מומחים, רוב הסיכויים שמדובר בטקסט חסר ערך, וכך נתייחס אליו).
- אל תאמינו למה שכתוב בעיתון
פעמים רבות כתבה בעיתון או במגזין תספר לקוראים על ממצאיו של מחקר אקדמי. וכיאה לז'אנר, יתלוו לה המון קישוטים ועיטורים: מחקר חדשני, פורץ דרך, משנה את כללי המשחק וכו'. אבל למעשה, בהרבה מהמקרים לא מדובר דווקא במחקר חדשני ופורץ דרך כפי שנטען, אלא באוניברסיטה / כתב עת עם מחלקת יח"צ מתפקדת שהצליחה לעניין את העיתון באייטם מסקרן. ומה אם אותה ידיעה התפרסמה בחמישה מגזינים נוספים ואפילו אוזכרה בויקיפדיה? שלחו מילים חמות ליחצ"נית החרוצה, והמשיכו בחייכם. כשלעצמה, תשומת לב תקשורתית לא אומרת לנו שום דבר על מהימנותו או תוקפו של מחקר שפורסם. אם בכתבה יש רפרנס למאמר עצמו, יש לבצע את סעיף 3. אין רפרנס למאמר עצמו? כנראה שלא צריך לקחת את הכתבה יותר מידי ברצינות.
- מחקר בודד, אפילו כזה שהתפרסם בכתב עת רציני, לאו דווקא מלמד אותנו הרבה.
יש הרבה סיבות שבגינן מחקר בודד עשוי להניב ממצאים מעניינים. אולי התוצאות מוטות. אולי המדגם קטן. אולי נפלה טעות בעיבוד הסטטיסטי המורכב. פריצת דרך מדעית היא אירוע נדיר באופן יחסי, וכשמחקר אחד מניב תוצאות שלא נראו עד כה, זו סיבה טובה להטיל בו מידה מסוימת של ספק. על מנת שטענה תקבל תוקף מניח את הדעת, עליה להיבדק במחקרים חוזרים ונשנים (מה שנקרא replicability – יכולת שחזור). הזמן, ומחקרים נוספים, יראו לנו אם היה ממש באותו מחקר חדשני כביכול, או שלא היו דברים מעולם. חכו שנה-שנתיים ותראו מה מתברר. מתסכל? ודאי. אך יצירת ידע היא תהליך איטי וזהיר. לעתים פשוט נדרשת סבלנות.
- יש להיזהר ממחקרים ישנים מאוד.
מניוטון ועד איינשטיין, חלילה לנו מלזלזל במדענים מימי קדם. ועם זאת, מנגנוני הפיקוח והבקרה השתפרו מאוד בעשורים האחרונים, ומחקרים שהתפרסמו בנקל לפני חמישים שנה לא בהכרח היו עוברים את הרף הנדרש לפרסום היום. שלא לדבר על כך שניתן עדיין למצוא במאגרים אקדמיים מאמרים הדנים בשבחי האאוגניקה, ביעילותם של טיפולי המרה להומוסקסואלים, או בקשר שבין צורת האף לאינטליגנציה. מצאתם מאמר מ 1951 אשר הטענה המופיעה בו תפסה את תשומת ליבכם? חפשו מחקרים חדשים יותר החוזרים על אותה טענה, או עוד יותר טוב, חשפו מחקרים הבוחנים אותה מחדש. אם אין למאמר ישן כל התייחסות בספרות מהשנים האחרונות, כנראה שהוא נשכח מסיבה טובה.
- "חוקרים מאוניברסיטת ייל טוענים…"
נטייה מרגיזה של כתבי מדע בעיתונות היא להתייחס לשיוך המוסדי של החוקרים כמעין אינדיקציה למהימנות המחקר. זה לא רציני. אמנם לא מן הנמנע שלחוקרת מהרווארד יש מוניטין רב יותר, משאבים מגוונים יותר ונטייה מוגברת לדייקנות מאשר חוקר מקולג' קהילתי אי שם ביוטה, אבל זה רחוק מלהיות גורם מכריע בשאלת איכותו של המאמר. גם חוקרים בעלי שם טועים. ביקורת העמיתים תעמיד אותם על טעותם, ועל כן מנגנון הביקורת (כלומר, איכותו של כתב העת) חשוב הרבה יותר משיוכם המוסדי.
- ספקנים? מצוין. אבל היו ספקנים עד הסוף.
יש נטייה הולכת וגוברת לפקפק במדע. הרי מדענים נוטים להיות שמרנים ומקובעים, הם מונעים מאינטרסים, וממילא המדינה / חברות הפארמה / אנשי הלטאה מסתירים מאיתנו את המידע החשוב (לא באמת). הספק הוא טבעי ומובן, וכאמור, אף מועיל, כיוון שהוא מכריח את הממסד המדעי לבחון ולתקן את עצמו, ותמיד יש מה לתקן. אבל אוסיף מילת אזהרה חשובה: בעודכם מטילים ספק במהימנותו של הזרם המרכזי במדע, זכרו להטיל ספק שבעתיים בזרמים השוליים, החל בגורואים של תזונה נכונה וכלה במומחי אקלים מטעם עצמם – כיוון שבזירות הללו השפעתם של בעלי ההון, בעלי האינטרסים, והשרלטנים על המידע המופץ היא לאין ערוך יותר גבוהה מבזרם המרכזי, הפיקוח על הפלטפורמות הרבה יותר חלש, ורמת הדמגוגיה מרקיעה שחקים.
בן בלק
belek.ben@mail.huji.ac.il