העידן הדיגיטלי ומדדים להערכת כתבי עת ומצוינות מדעית – מדדים מסורתיים וחדשים – מי מהם ראוי יותר ?
מדדים מבוססי ציטוטים להערכת כתבי העת נחשבים כמדדים מסורתיים להערכת כתבי עת ועדיין מקובלים ביותר.המדד המקובל והוותיק מכולם להערכת כתבי עת הוא ה-JIF- Journal Impact Factor. ההנחה הבסיסית של יוגין גארפילד יוצר ה- SCI, אשר עליה מושתת המדד הייתה, שכמות הציטוטים שמקבל כתב עת או חוקר מסוים היא המדד למצוינות. ככל שמאמר מצוטט יותר האימפקט שלו על הקהילה המדעית גבוה יותר.
היום בעידן הדיגיטלי, כאשר חלק גדול מהפעילות המדעית מתבצעת בצורה מקוונת, מוצעים מדדים חדשים יותר, שאפשר לאפיינם כמדדי שימוש שמושתתים בעיקר על נתוני יומני שרת – Log data.
נשאלת השאלה האם ה-JIF הוא עדיין המדד הטוב ביותר להערכת כתבי עת ומצוינות מדעית?
מחקר מעניין, שהתפרסם ביוני 2009, השתמש בשיטת ה- Principal Component Analysis כדי לבחון 39 מדדים קיימים ומוצעים להערכת כתבי עת ומצוינות מדעית.
ממצאי המחקר מעניינים. המחקר מצא שהאימפקט המדעי הוא רב ממדי ואינו יכול להימדד במדד יחיד אחד, למרות שמדדים מסוימים מתאימים יותר מאחרים.
כך למשל:
• נמצא מתאם גבוה יותר בין המדדים בקבוצת המדדים מבוססי שימוש מזה שנמצא בין המדדים בקבוצת המדדים מבוססי ציטוטים . משמעות הדבר: מהימנות גבוהה יותר בין מדדים מבוססי שימוש שמחושבים על אותו נתוני יומן, מאשר המהימנות בין מדדי ציטוטים שמחושבים על אותו מאגר ציטוטים.
• מדדים מבוססי שימוש נמצאו כאינדיקטורים חזקים יותר ל"יוקרה מדעית" מאשר הרבה מדדים מבוססי ציטוטים. בניגוד לצפוי נמצא שה- JIF נמצא כמבטא פופולריות מדעית דווקא.
• כמה מדדים מבוססי ציטוטים נמצאו במתאם גבוה יותר עם מדדים מבוססי שימוש מקבילים, מאשר עם מדדים מבוססי ציטוט אחרים כמו JIF, משמעות הדבר, שבניגוד למצופה, מדדים מבוססי שימוש יכולים להיות קרובים ל"דירוג הקונצנזוס " של כתבי עת מאשר מדדים מבוססי ציטוטים מקובלים.
• על פי דרוג המשתנים בהתאם לממוצע המתאם ביחס לשאר המדדים, כלומר מידת קרבתם לשאר המדדים נמצא שה- JIF הוא במקום ה- 34 בין 39 המדדים, מה שמצביע על מעמדו המבודד בין קבוצת המדדים הנחקרים.
ממצאים אלה יש בהם לרסן את ההתלהבות של אלה שמייחסים ל- JIF "סטנדרט זהב" של אימפקט מדעי.
הממצאים מצביעים על כך שה-JIF מבטא יותר אספקט מסוים של אימפקט מדעי, ושמספר מדדים מבוססי שימוש יכולים להיות מדדי קונצנזוס טובים יותר.
פרטים נוספים, כולל תיאור מפורט של שיטות המחקר והממצאים במאמר