לא על הסטטיסטיקה לבדה: בחינת יכולת הניבוי של מבחני המיון באמצעות הערכת תוכן

תמצית

המחקר הנוכחי מתמקד בבדיקה של תוקף הניבוי של יום האבחון באדם מילא, במטרה לבחון  את היכולת של יום האבחון לשקף לארגון את כישוריו ויכולותיו של המועמד כפי שהם צפויים לבוא לידי ביטוי בעת ביצוע התפקיד אליו הוא מיועד. תוקף ניבוי (Predictive validity) משמש להערכת היכולת של גורם מסוים (משתנה בלתי תלוי ) לנבא את הערכים של גורם אחר ( המשתנה התלוי) ולחזות את האופן בו יתנהגו בעתיד. השיטה הקלאסית לבחינת תוקף ניבוי, מתבססת על בדיקה סטטיסטית של המתאמים בין הציונים של שני המשתנים Schmidt Hunter &   ( 1990 ).  ייחודיותו של המחקר הנוכחי טמונה בכך שבדיקת התוקף בוצעה בצורה איכותנית באמצעות הערכה של התכנים המילוליים.

מכבי שירותי בריאות הינה ארגון הבריאות המוביל בישראל. החל משנת 2012 מבצעת מכבי שירותי בריאות תהליכי אבחון באדם מילא לכלל המועמדים המעוניינים להשתלב בעבודה בארגון. במסגרת יום האבחון נעשה שימוש במגוון של כלי אבחון ונכתבת חוות דעת מסכמת המועברת לארגון ומהווה כלי תומך החלטה עבור המנהלים  בנושא של קבלת המועמד לשורות הארגון. תהליכי אבחון אלה וקבלת החלטות מיוניות על בסיסם מבוצעים באופן רציף לשביעות רצון הארגון. לאחר ארבע שנות עבודה משותפת הוחלט על ביצוע מחקר תוקף ניבוי, כלומר ביצוע בדיקה של המידה בה ההערכה הנכתבת באדם מילא  מסוגלת לחזות את הצלחתו של המועמד במילוי התפקיד.

לצורך ביצוע המחקר נבחרה אוכלוסיית עובדים במכבי שירותי בריאות , שממלאים את תפקידם למעלה מחצי שנה, כולם נבחנו באדם מילא טרם כניסתם לתפקיד. עבור אוכלוסייה זו נאספו הציונים והתכנים המילוליים של חוות הדעת המסכמות שנכתבו באדם מילא ונשלחו לארגון, ועל בסיסן התקבלו העובדים לתפקידם. בנוסף, נאספו ציונים ותכנים מילוליים של שביעות רצון המנהלים מתפקוד העובדים באמצעות ראיון טלפוני שבוצע בצורה פרטנית עם כל אחד מהמנהלים.

המחקר בוצע בשני שלבים. בשלב הראשון בוצעו הניתוחים סטטיסטים ונבדקו הציונים שנאספו, ובשלב השני נבדק תוקף הניבוי בצורה איכותנית על ידי קריאה מעמיקה של התכנים מילוליים בחוות הדעת של אדם מילא והשוואתו אל מול התכנים שעלו בראיונות הטלפונים שבוצעו עם המנהלים. את הקריאה ביצעו שלוש מנהלות מש”א מהארגון, אשר ציננו כל אחת בנפרד את מידת ההתאמה בתכנים בסולם של 1-5. כך למשל, ציון 5 שיקף התאמה גבוהה בין תכני חוות הדעת של אדם מילא לבין תכני הריאיון הטלפוני שבוצע עם המנהל. עבור כל מועמד נקבע ציון התאמה המשקף את ממוצע הציונים שנתנו שלוש מנהלות מש”א. הציון הסופי של השלב הנוכחי במחקר הינו ממוצע כל הממוצעים והוא משקף את מידת ההלימה בין כלל תכני חוות דעת אדם מילא לתכני הראיונות הטלפוניים.

נמצא שכל העובדים שקיבלו ציון 5 ומעלה בחוות הדעת של אדם מילא קיבלו ציונים גבוהים מהמנהלים שלהם שהתבקשו להעריך את מידת התאמתם לתפקיד. הבדיקה הסטטיסטית של המתאמים בין הציונים במאפיינים השונים לא העלתה ממצאים בעלי משמעות, אולם הבדיקה האיכותנית מעידה על מתאם גבוה במיוחד בין תכני חוות הדעת של אדם מילא לבין תכני הריאיון עם המנהלים. מתאם גבוה זה מעיד על יכולת ניבוי גבוהה של חוות הדעת ומשקף את היכולת הטובה של תהליך המיון לחזות את התנהלות העובד במסגרת ביצוע תפקידו.

מבוא

תהליכי אבחון ומיון לקבלה לתפקידים בארגונים נערכים לצורך יצירת היכרות מעמיקה עם המועמדים הפונים אליהם. הניסיון המקצועי, ההשכלה הרלוונטית והכשרתו של המועמד הם תנאי הכרחי לקבלת לתפקיד , אך לא תמיד הם מספיקים, וארגונים רבים בוחרים להרחיב את היכרותם עם המועמדים , וללמוד עליהם ועל האישיות שלהם בצורה מעמיקה יותר באמצעות שליחתם ליום אבחון המבוצע במכוני המיון על ידי אנשי מקצוע בתחום הפסיכולוגיה התעסוקתית.

בתום יום אבחון נכתבת חוות דעת הנשלחת לארגון ומהווה כלי עזר בידי המנהל המגייס לצורך קבלת החלטה מיונית שהינה תמיד החלטה מורכבת. החל משנת 2012 מבצעת מכבי שירותי בריאות תהליכי אבחון באדם מילא לכלל המועמדים המעוניינים להשתלב בעבודה בארגון. האבחון מתבצע מול תיאור עיסוק מפורט המועבר אל אדם מילא הכולל פירוט של המשימות שנדרש לבצע העובד, האתגרים עימם יידרש להתמודד ורשימה של מאפיינים הנדרשים לצורך ביצוע מיטבי של התפקיד.

רקע על יום האבחון באדם מילא

יום אבחון באדם מילא כולל שימוש בכלים מגוונים. תכולת היום ואופי הכלים בהם נעשה שימוש נקבע על פי תיאור התפקיד המועבר לאדם מילא על ידי איש הקשר הרלוונטי בארגון.

הכלים המרכזיים בהם נעשה שימוש במהלך יום האבחון:

מבחני כישורים שכליים וסגנון ביצוע

סדרת מבחנים הבודקים כישורים קוגניטיביים, יכולת למידה, אינטליגנציה כללית, לצד מבחנים הבודקים את סגנון העבודה והביצוע (כמו סדר, דיוק וזריזות). מבחנים אלה הינם ברובם ממוחשבים.

שאלונים ומבחני אישיות

מטרת הכלים האלו הנה היכרות עם עברו התעסוקתי של המועמד , נטיותיו התעסוקתיות, המוטיבציות שלו, הישגיו והצלחותיו, לצד היכרות עם עולמו הפנימי והרגשי, זאת בכדי להבין מה מניע ובולם אותו, באיזה תנאים צפוי לחוש מסופק, מתי עשוי להגיע לכדי מימוש

מבחן קבוצתי / מצב

מועבר על ידי פסיכולוג ומתמקד בבדיקת  מאפיינים בינאישיים ותפקודיים/ביצועיים כפי שהם באים לידי ביטוי בהתנהגות המועמד במסגרת קבוצתית.

ראיון אישי

הראיון האישי מנוהל על ידי פסיכולוג ונמשך כ45 דקות.  בראיון ניתן לשים דגש על אבחון מעמיק של היבטים אישיותיים ותפקודיים

חוות דעת מסכמת

בסוף יום האבחון נאסף המידע הגולמי מהכלים השונים ומאנשי המקצוע אותם פגש המועמד במהלך היום. מידע זה מועבד לפסיכולוג נוסף המעבד את כל החומרים וכותב חוות דעת אינטגרטיבית ומקיפה הכוללת התייחסות מילולית לצרכים ולמניעים של המועמד, כישוריו, יכולותיו, אישיותו, מיומנויותיו, מקורות העוצמה שבו מול החסמים שלו, כל זאת  למול דרישות התפקיד אליו נבחן. בנוסף ניתנים גם ציונים למאפיינים השונים שהופיעו בתיאור העיסוק ומוצגות המלצות לקליטת העובד בארגון.

תהליך קבלת ההחלטות בארגון ביחס לקליטה של עובד חדש

חוות הדעת של אדם מילא נשלחות לארגון והן משמשות ככלי תומך החלטה בידי המנהלים המגייסים. באמצעות הדוחות הם יכולים להכיר צדדים שונים של המועמד שלא בהכרח נחשפו אליהם במהלך תהליך הגיוס, והם יכולים להסתייע בהמלצות לקליטת העובד המופיעות בחוות הדעת. על אף שקיימת שביעות רצון גבוהה של מנהלים בארגון מתהליכי האבחון, הוחלט לאחר מספר שנים בהם מתבצעים תהליכי אבחון אלה באופן שוטף לבצע מחקר תוקף ניבוי, שמטרתו הינה להעריך את המידה בה חוות הדעת מסוגלות לנבא את התפקוד של המועמד עם קבלתו לתפקיד המיועד.

 

שיטת המחקר

המחקר כלל אוכלוסייה של 68 עובדים אשר נבחנו באדם מילא והתקבלו לתפקיד אליו הם נבחנו, והם מבצעים אותו בפועל למעלה מחצי שנה.

בחירת הקריטריון לבחינת חוות הדעת

בחירת הקריטריון נעשתה בתהליך של חשיבה משותפת  ביחד עם אנשי מש”א בארגון. בחירת הקריטריון למולו ייבחנו כלי המיון הינה תמיד הליך מורכב. באופן אידיאלי היינו רוצים לבצע את תהליך התיקוף למול משתנים אובייקטיבים (כגון ציונים בסוף קורס הכשרה, חיסורים, קידומים וכד’), אולם קשה מאוד למצוא משתנים כאלה שיהיו משותפים למגוון רחב של עובדים בארגון.  במכבי שירותי בריאות מתבצעות הערכות עובד תקופתיות בהן ממלאים מנהלים חוות דעת שיטתית על העובדים, אולם אלה נמצאו כחיוביות מאוד באופן גורף ועל כן לא ניתן היה לעשות בהם שימוש במחקר הנוכחי.

בכדי להגיע לחוות דעת מדויקות יותר ולקבל מנעד רחב יותר של ציונים, נבנה שאלון אחיד ובוצעו ראיונות טלפוניים עם המנהלים על ידי פסיכולוגית תעסוקתית שעודדה  את המנהלים לספק חוות דעת מאוזנת הכוללת גם התייחסות לקשיים ולחולשות של העובדים. התוצר הסופי של ראיונות טלפונים אלה הינו סיכום מילולי המציג את האופן בו מתפקד העובד, התייחסות למקורות העוצמה שלו ולנקודות החולשה שלו וכן ציונים בסולם של 1-9 לאותה רשימה של מאפיינים המופיעים בתיאור העיסוק ובחוות הדעת הסופית של אדם מילא.

עבור 68 העובדים שהוגדרו כרלוונטיים לצורך מחקר זה נאספו כל הנתונים מחוות הדעת של אדם מילא ומהראיונות שבוצעו עם  המנהלים.

שלב א

בוצעה בדיקה של התפלגות הציונים בקרב המשתנה המנבא (חוות הדעת) והקריטריון (ראיונות עם המנהלים). כפי שניתן לראות בטבלה 1 בהמשך, נמצא כי הפיזור של הציונים במשתנה המנבא היה סביר – רוב הממוצעים נעו בין 5 ל-6.5 (והציון השכיח היה לרוב 6) על סולם של 1 עד 9. לעומת זאת, הפיזור של ציוני הקריטריון  היה נמוך ביותר: הציון השכיח (וגם החציון) ברוב המאפיינים היה 8 והממוצע היה לרוב סביב 7.5 או גבוה מזה בסולם הנע בין 1 ל-9 . לממצא זה קיימים שני הסברים:

  1. קיצוץ תחום. למעשה כל המועמדים שקיבלו ציון 4 ומטה בחוות הדעת של אדם מילא לא התקבלו לתפקיד אליו היו מועמדים (למעט מועמדת אחת).
  2. למרות המאמץ שהושקע בעידוד המנהלים לספק טווח רחב של ציונים, עדיין המנהלים נטו לפרגן לעובדים שלהם על ידי מתן ציון הערכה גבוה. ייתכן גם שהם עצמם היו מעורבים בתהליך בחירתם (מתוך שאר המועמדים לתפקיד) ולכן, על ידי מתן ציון גבוה, הם הוכיחו (לעצמם ולארגון) שבחירה זו הייתה מוצדקת.

 

בשל הטווח המצומצם של הציונים בקריטריון – בשילוב עם מספר נבדקים מאוד קטן –  לא ניתן היה לבצע בדיקה של מתאמים בין המאפיינים השונים בחוות הדעת לאותם מאפיינים שהופיעו בראיונות עם המנהלים. בהתבסס על מחקר המטה-אנליזה של  Hunter & Schmidt ואחרים ( 1990 ) ברור היה שבכדי שלמתאם שיימצא תהיה משמעות יישומית עליו לנוע סביב 0.20-0.30 לפחות, ובמחקר בו כמעט ואין  שונות בציוני הקריטריון אין כל אפשרות להגיע למתאם כזה.

לאחר בדיקות סטטיסטיות שונות שבוצעו הוחלט לזנוח את בחינת המתאמים ולעבור לבחינה איכותנית של התכנים.

שלב ב

בשלב ב הוחלט על ביצוע  השוואה איכותנית של תכני חוות הדעת למול תכני הראיונות עם המנהלים.  לצורך השוואה זו נבחרו שלוש מנהלות משאבי אנוש בארגון שלא היו שותפות בשלבים הראשונים של המחקר. כל אחת מהן קיבלה לידיה חוות דעת וסיכומי ראיונות מנהלים עבור  כל העובדים המשתתפים במחקר, כאשר כל חוות דעת משויכת לסיכום ראיון המנהל, ללא פרטים מזהים של העובד. כל אחת מהמעריכות התבקשה לקרוא את התוכן המילולי של חוות הדעת ואת הסיכום המילולי של הראיון עם המנהל ולהעריך את מידת ההלימה בין השניים באמצעות סולם ציונים שנע בין 1-5, כאשר 1 משמעו הלימה נמוכה בין התכנים וציון 5 משמעו הלימה גבוהה בין התכנים. עבור כל מועמד נקבע ציון התאמה המשקף את ממוצע הציונים שנתנו שלוש מנהלות מש”א. הציון הסופי של השלב הנוכחי במחקר הינו ממוצע כל הממוצעים והוא משקף את מידת ההלימה בין כלל תכני חוות דעת אדם מילא לתכני הראיונות הטלפוניים.

תוצאות

כל העובדים  שהתקבלו לארגון , היו עובדים שבחוות הדעת של אדם מילא קיבלו ציון 5 ומעלה, למעט עובדת אחת. כל העובדים האלה קיבלו בראיונות עם המנהלים ציונים הנעים בין 7-9 בשאלה המתייחסת למידת התאמתם לתפקיד, כלומר שביעות הרצון של המנהלים מהעובדים שקיבלו בהסתמך על חוות הדעת של אדם מילא היתה גבוהה מאוד.

 

טבלה 2: ממוצע ציוני ההתאמה שנתנו 3 המעריכות על הדימיון בין חוות הדעת של המכון (המנבא) לבין חוות הדעת המילולית של המנהל הישיר  (הקריטריון) – טווח הציונים נע בין 1 (אין התאמה) לבין 5 (התאמה גבוהה מאוד).

ממוצע מעריכה  א’ 4.3
ממוצע מעריכה  ב’ 4.3
ממוצע מעריכה  ג’ 4.7
ממוצע הממוצעים 4.4

כאמור לא ניתן היה לבצע בדיקה של מתאמים פנימיים בין הציונים שניתנו במאפיינים השונים בחוות הדעת ובראיונות עם המנהלים בשל העובדה שהתפלגות הציונים בקריטריון היתה מצומצמת מאוד.

הממצא החשוב והמעניין ביותר במחקר זה מתייחס לבדיקה של מידת ההלימה בין התכנים המילוליים. ההשוואה בין תכני חוות הדעת לתכני הראיונות עם המנהלים, הניבה  ציון של 4.4  בסולם 1-5, ציון המשקף הלימה גבוהה מאוד בין התכנים.

מסקנות

השיטות המוכרות בספרות לביצוע מחקר תוקף כוללות בדיקה סטטיסטית של מתאמים בין ציוני המנבא לציוני הקריטריון. באמצעות מתאמים אלה מציגים את המידה בה המשתנה המנבא מצליח לחזות את התנהלות הקריטריון. אחת הבעיות המרכזיות במחקרי תוקף היא הקושי לקבל התפלגות רחבה של ציונים בקריטריון, הן בשל קיצוץ התחום והן בשל העובדה שמנהלים על פי רוב נותנים ציוני הערכה גבוהים במיוחד אפילו לעובדים שיש להם ביקורת על אופן התפקוד שלהם. המחקר הנוכחי ניסה להתגבר על קושי זה באמצעות השוואה איכותנית בין תכני המשתנה המנבא לתכני הקריטריון.

מסתבר שכאשר שואלים מנהל בצורה פתוחה וגלויה על נקודות התורפה של העובד שלו הוא מסוגל לתאר אותן, אולם הוא אינו מצליח לתת להן ציון נמוך. באמצעות קריאה אובייקטיבית של התכנים, השוואה ביניהם והערכה של מידת ההלימה ביניהם נמצא קשר חיובי ברור בין חוות הדעת שנכתבה על העובד בשלב המיון לבין חוות הדעת שנתן  המנהל עליו לאחר חצי שנה בתפקיד, קשר שלא ניתן היה להגיע אליו באמצעים סטטיסטיים. ציון ההלימה הגבוה שנמצא במחקר משקף את היכולת הגבוהה של יום האבחון וכלי המיון לנבא את התפקוד של העובד בעתיד.

מקורות

Hunter, J.E., Sc Schmidt, F.L. (1990). Methods of meta-analysis: Correcting error and bias in research findings. Newbury Park, CA: Sage