העידן הדיגיטלי ומדדים להערכת כתבי עת ומצוינות מדעית – מדדים מסורתיים וחדשים – מי מהם ראוי יותר ?
מדדים מבוססי ציטוטים להערכת כתבי העת נחשבים כמדדים מסורתיים להערכת כתבי עת ועדיין מקובלים ביותר.המדד המקובל והוותיק מכולם להערכת כתבי עת הוא ה-JIF- Journal Impact Factor. ההנחה הבסיסית של יוגין גארפילד יוצר ה- SCI, אשר עליה מושתת המדד הייתה, שכמות הציטוטים שמקבל כתב עת או חוקר מסוים היא המדד למצוינות. ככל שמאמר מצוטט יותר האימפקט שלו על הקהילה המדעית גבוה יותר.
היום בעידן הדיגיטלי, כאשר חלק גדול מהפעילות המדעית מתבצעת בצורה מקוונת, מוצעים מדדים חדשים יותר, שאפשר לאפיינם כמדדי שימוש שמושתתים בעיקר על נתוני יומני שרת – Log data.
נשאלת השאלה האם ה-JIF הוא עדיין המדד הטוב ביותר להערכת כתבי עת ומצוינות מדעית?
מחקר מעניין, שהתפרסם ביוני 2009, השתמש בשיטת ה- Principal Component Analysis כדי לבחון 39 מדדים קיימים ומוצעים להערכת כתבי עת ומצוינות מדעית.
ממצאי המחקר מעניינים. המחקר מצא שהאימפקט המדעי הוא רב ממדי ואינו יכול להימדד במדד יחיד אחד, למרות שמדדים מסוימים מתאימים יותר מאחרים.
כך למשל:
• נמצא מתאם גבוה יותר בין המדדים בקבוצת המדדים מבוססי שימוש מזה שנמצא בין המדדים בקבוצת המדדים מבוססי ציטוטים . משמעות הדבר: מהימנות גבוהה יותר בין מדדים מבוססי שימוש שמחושבים על אותו נתוני יומן, מאשר המהימנות בין מדדי ציטוטים שמחושבים על אותו מאגר ציטוטים.
• מדדים מבוססי שימוש נמצאו כאינדיקטורים חזקים יותר ל"יוקרה מדעית" מאשר הרבה מדדים מבוססי ציטוטים. בניגוד לצפוי נמצא שה- JIF נמצא כמבטא פופולריות מדעית דווקא.
• כמה מדדים מבוססי ציטוטים נמצאו במתאם גבוה יותר עם מדדים מבוססי שימוש מקבילים, מאשר עם מדדים מבוססי ציטוט אחרים כמו JIF, משמעות הדבר, שבניגוד למצופה, מדדים מבוססי שימוש יכולים להיות קרובים ל"דירוג הקונצנזוס " של כתבי עת מאשר מדדים מבוססי ציטוטים מקובלים.
• על פי דרוג המשתנים בהתאם לממוצע המתאם ביחס לשאר המדדים, כלומר מידת קרבתם לשאר המדדים נמצא שה- JIF הוא במקום ה- 34 בין 39 המדדים, מה שמצביע על מעמדו המבודד בין קבוצת המדדים הנחקרים.
ממצאים אלה יש בהם לרסן את ההתלהבות של אלה שמייחסים ל- JIF "סטנדרט זהב" של אימפקט מדעי.
הממצאים מצביעים על כך שה-JIF מבטא יותר אספקט מסוים של אימפקט מדעי, ושמספר מדדים מבוססי שימוש יכולים להיות מדדי קונצנזוס טובים יותר.
פרטים נוספים, כולל תיאור מפורט של שיטות המחקר והממצאים במאמר
האימפקט פקטור וגם אופן החישוב שלו מוגדרים מאוד, הגדרת "שימוש" של כתב עת לא תמיד מוגדרת כי ישנם הרבה אופני שימוש, שיטוט, עלעול בכתב העת, הורדת מאמרים, ועוד ועוד. לכן לא ברור אם ניתן לבדוק אחד לאחד מי משני המדדים הוא המצביע הטוב יותר על איכות כתב העת.
מחקרים שונים הראו בעבר כי קיים מתאם חיובי גבוה בין שימוש בכתב העת לבין האימפקט פקטור שלו.
שאלה נוספת היא לאיזה כתבי עת מתכוונים כאשר בודקים מידת השפעה. ה-SCI ןה-SSCI מאוד סלקטיביים וכוללים רק כתבי עת עם סף-כניסה של ציטוטים, קרי, בעיקר כתבי עת מדעיים. השאלה אם מידת השימושיות נבדקה לגבי אותם כתבי עת, או כתבי עת שהם לא בהכרח מדעיים.
שלום ד"ר אבישג
פירוט על הנתונים ששימשו למחקר והקטגוריות השונות של המדדים השונים אפשר למצוא במאמר המלא.
בע' 6 יש מפורטים המדדים השונים שנבדקו במחקר
לגבי כתבי העת שנבדקו על פי מה שמתואר במאמר הם כתבי עת מדעיים
the following databases were used in this
analysis:
Citation. The CDROM version of the 2007 Journal Citation
Reports (JCR Science and Social Science Editions) published by
Thomson-Reuters Scientific (formerly ISI).
Usage. The MESUR project’s reference collection of usage
log data: http://www.mesur.org/: a collection of 346,312,045 user
interactions recorded by the web portals operated by Thomson
Scientific (Web of Science), Elsevier (Scopus), JSTOR, Ingenta,
University of Texas (9 campuses, 6 health institutions), and
California State University (23 campuses) between March 1st 2006
and February 1st 2007.
Figure
בברכה
יפה אהרוני