Altmetrics – גישה ומדדים חדשים להערכה מדעית שמושתתים על הווב החברתי

impactהגידול המתמשך בשימוש מדעי באתרים חברתיים כגון  אתרי סימניות חברתיים לאקדמיה, רשתות חברתיות לאקדמיה ומיקרובלוגים מהווה הזדמנות לעקוב אחרי האימפקט המדעי בדרכים חדשות.

נושא זה נחקר יותר ויותר ותופס מקום גם בכנסים מקצועיים. גם בכנס  ACM Web Science Conference 2012  שהתקיים ב- 22- 24 ביוני  2012  באבנסטון, אילינוי  התקיימה סדנה מיוחדת לנושא –  Almetrics12.

המונח Altmetrics   מוגדר כיצירה וחקר מדדים חדשים שמושתתים על הווב החברתי  לניתוח והערכה .  החזון מתואר במניפסט  באוקטובר 2010

על פי מניפסט זה של    ALTMETRICS בשנים האחרונות חל גידול בספרות המדעית,  וגידול זה מחייב סינון של הרלוונטי והאיכותי ביותר . למרבה הצער,  שלושת המדדים המסורתיים :  Peer-review , מדדים מבוססי ציטוטים  ו- JIF    –  שמודד ממוצע ציטוטים למאמר  נכשלים במילוי המטרה.

 שיטת ה- Peer-Review   על פיה  מאמר עובר תהליך של שיפוט והערכה על ידי 2 שופטים שרת יפה את הקהילה המדעית אלא שנראה שאותות הזמן מתחילים להיות ניכרים בו.  חיסרון עיקרי הוא העובדה שהתהליך איטי

 מדד הציטוטים הוא שימושי אבל לא מספיק. מדד כמו h-index הוא איטי אפילו יותר מאשר תהליך ה- peer-review. ציטוט ראשוני של עבודה  יכול להימשך שנים, עבודה חשובה יכולה להישאר ללא ציטוטים, מדדים אלה צרים , ישנה התעלמות מאימפקט מחוץ לאקדמיה  ומהסיבות וההקשר של הציטוטים.

 JIF  שמודד את ממוצע הציטוטים למאמר לעתים נעשה בו שימוש לא נכון להערכת האימפקט של מאמרים בודדים.  למרבה הצער הפרטים המדויקים בהקשר למדד זה  נותרו בגדר של סוד מסחרי והאפשרות למניפולציה קלה יחסית.

 היום הרבה חוקרים ואנשי מדע עוברים לווב  שכולל מגוון שירותים רלוונטיים : שירותים מקוונים לניהול רשומות ביבליוגרפיות כגון Zotero ו- Mendeley  שכל אחד מהם כולל עשרות מיליוני מאמרים , טוויטר ובלוגים  מקצועיים/מדעיים.

 בסביבה מגוונת זו Altmetrics  –  מדדים מגוונים אף הם בצורת קישורים , סימניות, דיונים  יכולים להוות מדד אימפקט  מתאים . מדדים אלה מהירים יותר מ- peer review,  שלא כציטוטים  מדדים אלה עוקבים אחר האימפקט מחוץ לאקדמיה , אחרי מאמרים משפיעים שאינם מצוטטים ואימפקט ממקורות שלא עברו את התהליך של השיפוט.

 כמובן שנושא ה-Altmetrics  עדיין בראשיתו ושאלות רבות עדיין אינן פתורות אך המשבר במדדים הקיימים היום והגידול המואץ בתקשורת המדעית  מחד לצד המגוון הגדול והמהירות של  ה- Altmetrics  הופכים אותם להיות כדאי השקעה.

לאתר altmetrics

 קישורים למאמרים  וכתבות בנושא   

  תודה לד"ר רות נדזל שהסבה את תשומת לבי לנושא זה בכתבה ששלחה לי  

מדדי שימוש – דרך אלטרנטיבית ומאזנת להערכת מחקר

citation היום בעידן האלקטרוני והיכולת למדוד את מספר ה"הורדות" של חומר אלקטרוני,  ספרנים ומו"לים כאחד יכולים להשתמש במדדי שימוש  במאמרים וחומרים אחרים למטרות שונות:  ספרנים יכולים ללמוד ממדדי השימוש אילו  כותרים שימושיים יותר, הם יכולים לחשב עלות של כל מאמר ,  מה שיכול לספק להם אינדיקציה על  הערך של כתב העת  ובהתאם לזאת לקבל החלטות בנושא רכש והחלטות על ביטולים

 מאחר שמדדי השימוש שונים אצל המו"לים השונים העניין מחייב סטנדרטיזציה. כבר במרץ 2002  הושק פרויקט COUNTER– Counting Online Usage of Networked Electronic Resources- יוזמה בינלאומית בנושא זה . 

כיום שני פרויקטים  שנמצאים  בחזית היישום של מדדי השימוש הם:  Journal Usage Factor (UFJ) project  באנגליה ו- MESUR   בארה"ב.

 חשיבותם של פרויקטים כאלה גדולה בעיקר נוכח המתאם הנמוך שנמצא  במחקרים בין מדדים מבוססי ציטוטים לבין מדדים מבוססי שימוש.

שני המדדים מודדים דברים שונים ומייצגים אוכלוסיות שונות – מדדי הציטוטים מייצגים את הכותבים ומדדי השימוש מייצגים את הקוראים  ושניהם אינם בהכרח חופפים.  למרות שמאמרים מצוטטים יותר בדרך כלל הם גם מאמרים ש"מורידים" אותם יותר היחס אינו דו צדדי.

עוד נמצא במחקרים שהתפלגות הגיל שונה בהורדות ובציטוטים.  מספר ההורדות גדול יותר בתקופה לאחר הפרסום של המאמר לעומת זאת  הציטוטים נמשכים לאורך זמן.

המשתנה תחום מחקר  חשוב אף הוא. – בתחומי מחקר מסוימים מדדי השימוש יכולים לחזות ציטוטים בעוד שבתחומים אחרים המתאם נמוך מדי מכדי לאפשר זאת.

 לאור זאת  נראה שמדדי השימוש ושתי היזמות לסטנדרטיזציה במדדים אלו – Journal Usage Factor (UFJ) project  , MESUR   יספקו למוסדות ולחוקרים  תמונה מאוזנת יותר , וכדאי לעקוב ולראות אילו מדדי שימוש יופיעו בעתיד

 לכתבה בנושא

יום עיון – Research Evaluation Metrics: International and Local Perspectives – סקירה

researchבזמנו שלחתי דרך הבלוג הזמנה ליום העיון Research Evaluation Metrics – International and Local Perspectives . יום העיון שאורגן על ידי Elsevier והמחלקה ללימודי מידע באוניברסיטת בר-אילן התקיים בראשותן של פרופ' יהודית בר אילן ופרופ' בלומה פרץ באוניברסיטת בר-אילן ב- 27 באוקטובר 2011

יום העיון עסק בפרספקטיבות שונות במישור המקומי והבינלאומי של מדדים להערכה מדעית . כמו כן התמקד בדרכים כיצד לגייס מדדים אלו לצורך קבלת החלטות בנושאי מדינות ומימון.

סקירה על יום העיון אפשר למצוא בגיליון ינואר 2012 של research trends . מטרת הכנס הייתה לעודד דיונים פתוחים ולמידה הדדית בין גורמים ממשלתיים שאחראים על המימון של הפעילות המדעית המקומית והחוקרים באקדמיה. יום העיון התמקד בשלושה היבטים של הנושא: ההיבט התיאורטי, מדיניות המחקר במישור הלאומי והערכה מדעית הלכה למעשה תוך הצגת חקר מקרים ספציפיים. .

מסקנות עיקריות כלליות שנשמעו בכנס: יש תחילה להגדיר את המטרות להערכה מדעית ורק אחר כך לבחור בהתאם את המתודולוגיה המתאימה, ועל פיה לבצע את הניתוח הביבליומטרי לצורך הערכה.

הערכה מדעית במישור הלאומי אינה קלה ואינה יכולה להעשות על פי מדד אחד . בשימוש במתודולוגיות להערכה מדעית יש לקחת בחשבון את היכולות והגישות המדעיות במישור המקומי.

אירועים דומים לכנס זה לעידוד השיח בין גורמים ממשלתיים ואקדמיה מתוכננים לשנת 2012 במקומות אחרים בעולם.

 

גוגל סקולר ככלי ביבליומטרי – תוצאות מחקר

cgGoogle Scholar  שכולל מאמרים מכתבי עת וגם מציג נתונים על ציטוטים של מאמרים נחשב לעתים כמקור אלטרנטיבי או משלים למאגרי מידע ייעודיים לציטוטים כמו Web of Sciences או Scopus. האם זה כך? מה יעילותו של גוגל סקולר לניתוחים ביביליומטריים ומה יעילותו ככלי להערכה מחקרית /מדעית.

על כך מנסה מחקר חדש שאמור להתפרסם בקרוב בכתב העת Scientometrics לענות. המחקר:
Is Google Scholar useful for bibliometrics? A webometric analysis
התבסס על ניתוח כתובות הדומיין של המקורות ולא על ניתוח של שמות מחברים או מוסדות. איסוף הנתונים התבצע ב- אוגוסט 2010.

בהסתמך על ניתוח זה המחקר הגיע למסקנה שגוגל סקולר חסר את בקרת האיכות של כלי ביבליומטרי. הכיסוי הגבוה שהוא מציע כולל לעתים פריטי מידע שאין להשוותם עם אלה של מאגרי מידע דומים. כך למשל מממצאי המחקר:
אוניברסיטאות מסין, טיוואן , ספרד, ברזיל ואינדונזיה מיוצגות ומדורגות מעבר למצופה. 
במקרים מסוימים מאגרי מידע בינלאומיים גדולים או לאומיים או מאגרים מוסדיים אחראים למספר הרב של התוצאות. אך בהרבה פעמים אחרות תכנים מקומיים, כולל נירות בכתבי עת בעלי אימפקט נמוך , ספרות מדעית פופולרית , דוחות שלא פורסמו או חומרים תומכי הוראה מוצגים יתר על המידה. 

לאור זאת, המסקנה של המחקר היא שהשימוש בגוגל סקולר למטרות ביבליומטריות והערכה צריך להיעשות בזהירות, במיוחד לגבי פריטי מידע שאינם חופפים עם אלה שקיימים ב- Scopus או ב-Wos .

יחד עם זאת השקתו של Google Scholar Citations והעדכון של Microsoft Academic Search משנים את דרגת המחויבות של מנועי חיפוש אלה לניתוח הציטוטים, בעיקר בכל הקשור לתיאור אישי ומטרות הערכה. ניתנת האפשרות למחברים לתקן טעויות לשנות פרופיל וכו' ברוח הווב 2.0 ובכך כלים אלה הופכים מתחרים רציניים לרשת החברתית הייעודית לאקדמיה – ResearchersID של ISI Thomson או לשירותי זיהוי המחברים של Scopus 

 

דרוג Leiden של האוניברסיטאות בעולם

leidenבזמנו כתבתי פוסט על דרוג האוניברסיטאות . דרוג נוסף – דרוג Leiden זמין כעת. דרוג Leiden של האוניברסיטאות לשנת 2011/2012 מושתת על הפרסומים ב- Web of Sciences. . נכללים בחישוב המדד פרסומים ממדעים ומדעי החברה בלבד. פרסומים במדעי הרוח ואמנויות אינם נכללים מכיוון שבתחומים אלה הדרוג של Leiden אינו מדויק מספיק. בנוסף לכך בחישוב הדרוג נלקחים בחשבון רק פרסומים מסוג article, letter, review . .

הדרוג של Leiden מציע מספר מדדים:

• מדד ממוצע ציטוטים – Mean citation score – MCS – ממוצע הציטוטים של פרסומי האוניברסיטה

• מדד ממוצע ציטוטים מנורמל – MNCS – Mean normalized citation score – ממוצע הציטוטים של פרסומי האוניברסיטה מנורמל על פי תחומים, שנת הוצאה, וסוג פרסום. משמעותו של MNCS בערך של 2 למשל הוא שפרסומי האוניברסיטה צוטטו פי שניים מאשר הממוצע בעולם.

• Proportion top 10% publications -PPtop 10% – יחס הפרסומים של האוניברסיטה, בהשוואה לפרסומים דומים, ששייכים ל-10 המצוטטים ביותר. פרסומים דומים הם פרסומים באותו תחום, שנה ושייכים לאותו סוג מסמך.

במדדים שלעיל נמנו ציטוטים עד סוף שנת 2010. ציטוטים עצמיים לא נלקחו בחשבון. מדד ה- Proportion top 10% publications- PPtop 10% בשל יציבותו נחשב למדד החשוב ביותר בדרוג Leiden.

בנוסך למדדים אלו דרוג Leiden מספק גם מדדים של שיתוף פעולה מדעי . דרוג Leiden מאפשר גם להוציא מכלל החישובים הביבליומטריים כתבי עת שאינם בשפה האנגלית ( משום שיש להניח שאינם נקראים באותה מידה כמו פרסומים בשפה האנגלית) .

האתר מציע למשתמש אפשרויות של דפדוף וחיפוש. אפשר לדפדף ברשימת 500 המוסדות האקדמיים בעולם על פי דרוג יורד של מדד Proportion top 10% publications- PPtop 10%, אפשר לחפש דירוג של אוניברסיטאות מתוך ה- 500 הנמצאות ברשימה על פי מספר פרמטרים – אזור, ארץ, מספר אוניברסיטאות, סוג מדד ושיטות חישוב. כאשר בחרתי בכל האוניברסיטאות בישראל קיבלתי את מכון ויצמן בראש הרשימה עם מדד Proportion top 10% publications של 17.2% ואחריו את האוניברסיטה העברית, אוניברסיטת תל אביב, הטכניון, אוניברסיטת בר-אילן ואוניברסיטת בן גוריון. כמובן שאפשר לבחור דרוג על פי פרמטרים שונים מאלו שבחרתי והדרוג כנראה ישתנה בהתאם. על פי דדד השיתוף לדוגמה אוניברסיטת תל אביב נמצאת במקום ראשון ואחריה אוניברסיטת בר –אילן. וזהו היתרון של המדד שמאפשר לצפות בהישגים האקדמיים מנקודות מבט שונות.

לאתר

 

ביבליומטריקה והתפקיד המשתנה של הספריות האקדמיות

תפקידים מסורתיים של הספרייה התמקדו בעניינים שנוגעים לרכש, ארגון אוספים , חיפוש ואחזור מידע למשתמשי הספרייה. בעשורים האחרונים עם הגישה האלקטרונית למשאבי המידע ופיתוח מערכות ידידותיות , קל יותר למשתמש לבצע בעצמו את חיפוש המידע ואחזורו. נוכח מצב זה לעתים ישנה תחושה שאחד התפקידים המסורתיים של הספרנים נשמט מידיהם או לפחות כבר אינו נדרש באותה מידה כמו קודם .

מצב זה הוביל את הספריות לחפש תפקידים חדשים ואכן בעשורים האחרונים מדע המידע והספרנות נמצא בשלבים שונים של הגדרת תפקידים מחדש. ספריות אקדמיות ,לפחות באירופה, שמות את הדגש על פיתוח שירותים שקשורים לתקשורת המדעית. כך למשל הן מגלות תמיכה בכל היזמות שקשורות לגישה פתוחה כמו אירוח כלים להוצאה לאור בגישה פתוחה, פיתוח מדריכים של כתבי עת בגישה פתוחה, ואחריות על המאגרים המוסדיים.

בכל הקשור למאגרים המוסדיים מעורבותן של הספריות יכולה להיות כפולה: מצד אחד ספרנים מעורבים בכל הקשור לפיתוחם ואחזקתם,  מצד שני מאגרים אלה מהווים בסיס לניתוח כמותי ביבליומטרי והערכה מדעית וגם כאן ספרנים יכולים לתרום את חלקם. העניין בביליומטריקה להערכה מדעית גדל בספריות ובאקדמיה בכלל והספרנים בספריות אקדמיות הם מועמדים טבעיים לקבל את תפקיד הניתוחים הביבליומטריים.

בין הגורמים שהופכים אותם למועמדים טבעיים לעסוק בניתוחים ביבליומטריים אפשר לציין את העובדה שביבליומטריקה היא תחום חשוב במחקר במדע המידע והספרנות , לספרנים מיומנויות של פיתוח מידע ביבליוגרפי ובהרבה מקרים הם מעורבים בפיתוח המאגרים המוסדיים ויש להם גישה מידית למידע שמשמש מקור לניתוחים והערכה מדעית.

מאמר מעניין שהתפרסם לאחרונה והתבסס על סקר , סוקר את הפעילות הביבליומטרית של הספרנים במוסדות אקדמיים בשבדיה. שאלון הסקר הופץ ברשימת תפוצה בתקופה 23 בפברואר 2010 ועד ה-17 במרץ 2010 בקרב 48 מוסדות לחינוך גבוה ומחקר.

במאמר אפשר למצוא מידע על הפעילות הביבליומטרית של הספריות האקדמיות , היקף פעילות ומנדט , האופי של הפעילות הביבליומטרית ועד כמה ספריות מציעות שירותי ניתוח ביבליומטרי ולמי , הזדמנויות, תועלת וסיכונים. מסתבר שספריות מציעות שירותים של ניתוחים ביבליומטריים ליחידות שונות באוניברסיטה כולל הנהלה וגם לקבוצות מחקר ולבודדים בנוסף להדרכה בנושא. אין ספק, תפקיד חדש זה מגדיל את הנראות של הספריות האקדמיות בהקשר האקדמי הרחב.

הערכת חוקרים בשלבי קריירה שונים

dataהערכה מדעית של חוקר חשובה למועמדותו לתפקיד מסוים, לקידום בתפקידו, להקצאת משאבים למימון מחקריו ועוד..

רגילים להשתמש במדדים שונים מבוססי ציטוטים כדי להעריך חוקרים. אך האם זה תמיד נכון לעשות זאת ? האם נכון להשתמש באותם מדדים כשהחוקר נמצא בראשית דרכו המדעית וכאשר כבר עשה כברת דרך בדרכו המדעית. על כך מנסה מאמר שהתפרסם ב- research trends מנובמבר 2011 לענות.

המאמר מציג 3 תקופות זמן בדרכו של חוקר : שנה , חמש שנים ועשר שנים.
הטענה המרכזית היא שבכל תקופה יש להתחשב במדדי הערכה שונים.

בשנה הראשונה החוקר בדרך כלל עדיין לא פרסם דבר. הוא נמצא בשלב של קריאה וגיבוש רעיונות למחקרים עתידיים. בשלב זה ברור שניתוחים ביבליומטריים לא יתאימו להערכה. מדדים שכן יתאימו בשלב זה הם ציוני המבחנים, פעילות ברשתות חברתיות ייעודיות לאקדמיה, השתתפות פעילה בסדנאות ובכנסים.

שלב של חמש שנות מחקר. בשלב זה החוקר פרסם מספר מאמרים והוא סולל ומבסס אט אט את מעמדו בשדה המחקר שלו. רוב הזמן מוקדש לניסויים, כתיבת מאמרים, פעילות ברשתות חברתיות. בשלב זה מדדים ביביליומטריים יתאימו יותר להערכה מדעית מאשר בשלב הראשון , אבל מדדים מסורתיים שמבוססים על ממוצעים לא יהוו מדד מדויק בשל המספר הקטן יחסית של פרסומים וציטוטים.

בשלב זה מדדים שימושיים יותר יהיו מדדי שימוש או הורדות של מאמריו של החוקר לדוגמה כמה פעמים צפו בפרסומיו במאגר מסוים כגון Scopus . היבט חשוב נוסף יכול להיות שיתוף פעולה. האם החוקר היה שותף לפרסומים עם חוקרים מוערכים בארצות ובמוסדות שונים.

שלב של עשר שנים . בשלב זה של הקריירה מדדים ביבליומטריים כגון h-index יכולים להיות מדדים נכונים ומתאימים. אבל יש להתחשב גם בנוכחות הציבורית של החוקר. מהי תרומתו לכנסים ולאירועים רלוונטיים לנושא מחקרו , גם נוכחות בכלי התקשורת ובמספר תחומים גם נתוני פטנטים יכולים להיות רלוונטיים.

strataיש לציין שכלי חדש של Elsevier – SciVal Strata נועד לתת תמונה ויזואלית על פעילותו של החוקר בשלבים שונים של הקריירה . חוקרים יכולים להעריך את האימפקט המדעי שלהם ולראות עצמם כחלק מקבוצה.

בנוסף לשלב בקריירה בו נמצא החוקר חשוב גם להתחשב במטרה שלמה מבוצעת ההערכה ומי מבצע את ההערכה – גוף מממן, שותפים פוטנציאליים למחקר וכו'.

למאמר בנושא.

מפת המחקר העולמית והערכה מדעית – מצגות

thomsonמצגות של סדנה של Thomson Reuters בשיתוף עם CSIR-NISCAIR בנושא מדדים להערכת מדעית שהתקיימה ב- 9 בנובמבר 2011 במלון Jaypee Siddharth בניו דלהי זמינות כעת . המצגות עוסקות בהיבטים שונים של הנושא כגון:
מהו impact של מחקר והיבטיו השונים : האקדמי, הכלכלי והחברתי והמדדים להערכתו.
המחקר גלובלי, דינמי ומשתנה – מפה עולמית של המחקר על פי מדינות עם התייחסות מיוחדת להודו. Scientometrics ועוד..

למרות שחלק מהמצגות התמקדו במקומה של הודו על מפת המחקר אפשר ללמוד מהמצגות גם על ההיבט הכללי של הנושא.

למצגות

הערכה מדעית – עדכונים

דפי הדרכה בנושאים ביבליומטריים
בזמנו כתבתי על MyRI – ערכת כלים מקיפה בגישה פתוחה להדרכה בנושאים ביבליומטריים שקשורים להערכה של כתבי עת וחוקרים.

factדפי הדרכה נוספים בנושא הערכה מדעית בפורמט pdf אפשר למצוא באתר של UQ library . דפים אלו כוללים מידע תמציתי ומבהיר במגוון נושאים רלוונטיים כגון מהו h-index , מידע על הרשת החברתית הייעודית לקהילה האקדמית ResearchID, מידע על דירוג האוניברסיטאות , כלים למדידת ציטוטים ועוד ..

Google Scholar Citations
albertבתחילת אוגוסט 2011 כתבתי על כלי להערכה מדעית שמושתת על גוגל סקולר – Google Scholar Citations. אז הכלי היה בשלבי בחינה עם מספר קטן של משתמשים. ב- 16 בנובמבר 2011 גוגל הודיעה שהכלי פתוח כבר לכול

לשאלות נפוצות בכל הקשור לשימוש בכלי
למידע בפוסט קודם על הכלי 
לאתר 
לכתבה בנושא– תודה לד"ר אריאל פרנק על המידע אודות הכתבה,  ותודה לרבקה טייך על ההזמנה לכלי זה

Publish or Perish – תוכנה חופשית להערכה מדעית – ניתוח ציטוטים מגוגל סקולר

Publish or Perishpublish היא תוכנה חופשית ברשת שמאפשרת לבצע ניתוחים לצורך הערכה מדעית של חוקרים בהסתמך על הנתונים בגוגל סקולר. התוכנה תואמת מגוון מערכות הפעלה: Microsoft Windows, Apple Mac OS X, and GNU/Linux .

מידע על התוכנה ואופציה להורדה אפשר למצוא באתר הבית של Anne-Wil Harzing מאוניברסיטת מלבורן שבאוסטרליה- אתר שמיועד לחוקרים וכולל מידע וכלים שרלוונטיים לחוקרים ולפרסום מדעי. 

התוכנה Publish or Perish מעבדת את הנתונים מגוגל סקולר מנתחת אותם ומציגה שורה של מדדים להערכה מדעית. על פי מה שנכתב באתר , התוכנה מציגה את המדדים הבאים:

• Total number of papers

• Total number of citations

• Average number of citations per paper

• Average number of citations per author

• Average number of papers per author

• Average number of citations per year

• Hirsch's h-index and related parameters

• Egghe's g-index

• The contemporary h-index

• The age-weighted citation rate

• Two variations of individual h-indices

• An analysis of the number of authors per paper.

כאשר מתייחסים לתוצאות שמספקת התוכנה יש להתחשב במאפיינים של גוגל סקולר בכל הקשור לציטוטים ולהתייחס לנתונים בהתאם. כאשר כותבים בשפות שאינן השפה האנגלית או כותבים בספרים ולא בכתבי עת יתכן מצב שמספר הציטוטים יהיה נמוך מהמצב האמיתי. 

למרות הערכות שגוגל סקולר טוב יותר מ-ISI במקרים אלה, הרי אין זה נכון לגבי כלל תחומי המחקר. שימוש בגוגל סקולר להערכה מדעית מתאים יותר לתחומים הבאים: עסקים, ניהול, פיננסים וכלכלה, הנדסה, מדעי המחשב ומתמטיקה, מדעי הרוח ואמנויות .

בשאר תחומי המחקר ובעיקר במדעי הטבע ומדעי הבריאות מומלץ לאמת תוצאות עם WOS ו- Scopus. 

להורדת התוכנה

מן הראוי לציין שבאתר זה אפשר למצוא מידע נוסף וכלים נוספים שיכולים לסייע לחוקר.

דירוג האוניברסיטאות בעולם – Times Higher Education/Thomson Reuters World University Rankings 2011-2012

rankingדירוג האוניברסיטאות של Times Higher Education/Thomson Reuters לשנת 2011- 2012 התפרסם. דירוג זה נעשה על ידי Times Higher Education בתיאום עם Thomson Reuters שסיפק נתונים לצורך כך.

הדירוג התבסס על 13 אינדיקטורים שמייצגים את פעילות האוניברסיטאות בכל תחומי הפעילות שלה והעיקריים בהם : הוראה , מחקר וציטוטים . כל אחד משלושת תחומי פעילות עיקריים אלה הווה 30% מהציון הכללי המשוקלל לו זכה המוסד.

דירוג זה הוא כלי חשוב ושימושי – לסטודנטים לבחירת קורסים, לאקדמאים לקבלת החלטות שקשורות לקריירה, לקבוצות מחקר לצורך בחירת עמיתים, למנהלי אוניברסיטאות לצורך הערכת הפעילות ולהחלטה על סדר עדיפויות אסטרטגיות, וגם כלי לממשלות להתווית מדיניות לאומית.

באתר אפשר לצפות ברשימת 400 האוניברסיטאות המובילות בעולם, כמו כן אפשר לקבל את דירוג האוניברסיטאות בעולם על פי אזור גיאוגרפי  – אירופה, אסיה, צפון אמריקה, דרום אמריקה, אוקיאניה ואפריקה ועל פי נושא –  הנדסה וטכנולוגיה, מדעי החיים, בריאות (קליני ופרי קליני) , מדעי הפיסיקה, מדעי החברה , רוח ואמנויות.

אפשר לקבל מידע כללי על כל אחד מהמוסדות המדורגים, את הציון שלו זכה בחמשת האינדיקטורים העיקריים ואת הציון המשוקלל .

על פי דירוג זה חמש האוניברסיטאות המובילות בעולם הן : California Institute of Technology , Harvard University , Stanford University , University of Oxford , ו – Princeton University .

בישראל – על פי דרוג זה האוניברסיטה העברית ואוניברסיטת תל אביב נמצאות ברשימת 200 האוניברסיטאות המובילות בעולם. האוניברסיטה העברית בירושלים נמצאת במקום ה- 121 עם ציון משוקלל של 50.4 ואוניברסיטת תל-אביב נמצאת במקום ה- 166 עם ציון משוקלל של 45.4

מן הראוי לציין שבאתר יש קישור  להורדת אפליקציה חופשית ל- iphone שמאפשרת למשתמש לעשות מניפולציות שונות על הנתונים כגון שינוי השקלול של האינדיקטורים העיקריים להערכה, וסינון תוצאות על פי ארץ ועוד.

לאתר

יום עיון – Research Evaluation Metrics: International and Local Perspectives

bibliometricsElsevier והמחלקה ללימודי מידע באוניברסיטת בר-אילן מזמינים אתכם ליום עיון בנושא מדדים להערכה מדעית. יום העיון
Research Evaluation Metrics – International and Local Perspectives
יעסוק בפרספקטיבות שונות במישור המקומי והבינלאומי של מדדים להערכה מדעית . כמו כן יתמקד בדרכים כיצד לגייס מדדים אלו לצורך קבלת החלטות בנושאי מדינות ומימון.

יום העיון בראשותן של פרופ' יהודית בר אילן ופרופ' בלומה פרץ יתקיים באוניברסיטת בר-אילן ב- 27 באוקטובר 2011 . יום העיון חופשי, יש צורך בהרשמה מראש.

לטופס ההרשמה

לתוכנית יום העיון

MyRI – ערכת כלים בגישה פתוחה להדרכה בנושאים ביבליומטריים שקשורים להערכה של כתבי עת וחוקרים

myנושא הציטוטים והערכת כתבי עת וחוקרים הופך להיות יותר מסובך נוכח קיומם של מספר מדדים להערכה ומדדים חדשים שמתווספים לבקרים.

פרויקט משותף של ארבע ספריות אקדמיות באירלנד- MyRI – Measuring your Research Impact הניב ערכה של כלים להדרכה בנושא. הכלים נגישים בגישה חופשית להורדה , ולשימוש חוזר על פי הרישיון הגמיש Creative Commons.

הערכה כוללת מבחר גדול של מצגות, ראיונות וידאו עם חוקרים וחומרי הדרכה אחרים – גיליונות אלקטרוניים, מערכי שיעור, פוסטרים ועוד. במסגרתה יש מדריך כללי מקוון שכולל 3 מודולים : הקדמה לנושא, דרוג כתבי עת , מדדים שקשורים לחוקרים – קידום הקריירה ותמיכה באסטרטגית המחקר. הערכה כוללת גם חומרים "תפורים" למדעי המחשב וגיאוגרפיה.

אפשל ללמוד מחומרי ההדרכה על מדדים עיקריים, מגבלותיהם של המדדים, כיצד לעקוב ולהעריך ברמת הפרט, המחלקה, המוסד והמדינה , הערכת כתבי עת ומדד ה- JIF , מגבלות של מדדים רב תחומיים לתחום מדעי המחשב וכיצד להתמודד עם הערכה בתחום מחקר זה, כיצד להשתמש ב-JCR בתחום הגיאוגרפיה ועוד ..

מסקנות עיקריות שהוצגו:
• תמיד יש להשוות "like with like" – לדוגמה קבוצות ופרטים באותן דיסציפלינות או בדיסציפלינות דומות, קבוצות או פרטים באותו שלב בקריירה האקדמית שלהם, כתבי עת באותה קטגוריה או דיסציפלינה, מוסדות בגודל שווה.
• לא להסתמך על כלי אחד בלבד, מכיוון שהתוצאות יכולות להיות שונות בהתאם לכלי
• להיות מודעים לכך שדיסציפלינות מסוימות נשענות פחות על פרסום בכתבי עת מאחרות ולכן לא חכם יהיה באותם מקרים להשתמש בכלים רב תחומיים קיימים להערכה
• במידת האפשר כדאי להשתמש בצירוף של מדדים כמותיים ואיכותניים

Google ו- Microsoft – השקתם של כלים חופשיים להערכה מדעית

citation2גוגל השיקה בחודש שעבר כלי להערכה מדעית שמושתת על גוגל סקולר – Google Scholar Citations. כלי זה מאפשר לחוקרים לעקוב אחרי הציטוטים למאמרים שלהם. מחברי המאמרים יכולים באמצעותו לעקוב אחרי אלו שמצטטים אותם, לקבל בצורה ויזואלית תמונת ציטוטים לאורך זמן ולחשב מספר מדדי ציטוט.. חוקרים יכולים ליצור ולתחזק פרופיל ציבורי של רשימת המאמרים שלהם. פרופיל ציבורי זה יופיע בתוצאות של גוגל סקולר כאשר יחפשו את שם החוקר.

כיום Google Scholar Citations הוא בשלבי בחינה עם מספר קטן של משתמשים, והכוונה לאפשר את השימוש בו חופשי לכול. אפשר להירשם כדי לקבל מידע מתי הכלי יהיה זמין לכול. המדדים שהוא מאפשר בשלב זה הם : h-index , i10-index וסך כל הציטוטים. יש לזכור שהכלי מושתת על האינדקס של גוגל סקולר ומספר הציטוטים והמאמרים של המחברים לקוחים מהאינדקס שלו ומתעדכנים אוטומטית בכל עת שהאינדקס מתעדכן. יחד עם זאת הכלי מאפשר למחבר שליטה בנושא אם אינו מעוניין בעדכון אוטומטי של מאמר מסוים.

במקביל, מנוע החיפוש המדעי של מיקרוסופט,שלו כלי דומה ל- Google Citations Report ,הוסיף בחודשים האחרונים מספר כלים שמושתתים על ניתוח הציטוטים – מגמות פרסומים ודרוג של חוקרים מובילים בתחום. אך למרות המאפיינים הרבים של פלטפורמה זו לגוגל סקולר יש את היתרון של גודל האינדקס שעל פי דעתם של חוקרים הופכים את המדדים שלו לאמינים ומדויקים יותר.

מכול מקום, עם הצטרפות ענקיות החיפוש לתחום זה של ניתוח והערכה מדעית והשקתם של כלים חופשיים שיאפשרו לחוקרים סטטיסטיקות ציטוטים, ויזואליזציה של רשתות המחקר ומעקב אחר שדות המחקר החמים – אין ספק שמיפוי עולם המדע יהיה קל יותר מבעבר, ואנשי מדע ומוסדות מחקר יוכלו אולי להיות פחות תלויים בפלטפורמות קיימות יקרות.

לכתבה ב- nature news

למידע בגוגל על GSC

לכתבה ב- Scientist

Journalmetrics.com – חיפוש ערכי SNIP ו – SJR של כתבי עת

metrics2SNIP ו-SJR הם שני מדדים חדשים יחסית להערכת כתבי עת . בעבר אזכרתי אותם בפוסטים קודמים בבלוג. שני המדדים מבוססים על התכנים השפיטים במאגר Scopus נכון להיום 18000 כתבי עת , סדרות ספרים ו-proceedings.

מדד SNIP משקף את האימפקט של כתב העת בתחום שלו ולוקח בחשבון גם מאפיינים של התחום הנושאי של כתב העת , לכן הוא מאפשר להשוות כתבי עת בתחומי נושאים שונים ונחשב כמדד טוב ומדויק להשוואת כתב עת מסוים עם כתבי עת בתחומו וגם מחוץ לתחומו.

גם SJR על פי מה שכתוב באתר מאפשר השוואה ישירה של כתבי עת ללא תלות בסיווגם הנושאי.

באתר Journalmetrics.com אפשר לחפש חופשי על פי כותר של כתב עת או מלים מתוך כותר מסוים של כתב עת ולקבל את שני המדדים SNIP ו- SJR שלהם בשנים 2007 עד 2010 . כמו כן אפשר להוריד קובץ אקסל שכולל את כל מאגר הנתונים מעודכן, נכון להיום, לספטמבר 2010 .
באתר יש גם קישורים למסמכים ומאמרים שמתארים את אופן החישוב של המדד SNIP , התמורות שחלו בהערכת כתבי עת ב-50 השנים האחרונות , ומידע נוסף על שני המדדים

לאתר – חיפוש ערכי שני המדדים על פי כתב עת

מדדים להערכת חוקרים וקידומם – דעות חוקרים ואדמיניסטרטורים בנושא

satisfactionקריירה של מדען וחוקר לא יכולה להיות מתומצתת ומכומתת במספרים. איש המדע מבלה שעות אין ספור בניסויים, בהדרכת סטודנטים, בכתיבה וקריאה של מענקי מחקר וניירות עבודה, בהוראה, בארגון מפגשים, בייעוץ ועוד – וקשה לכמת פעילויות אלה.

אבל כאשר איש המדע מחפש עבודה , קידום או אפילו קביעות התחושה בקרב אנשי מדע רבים היא שמקבלי ההחלטות מייחסים משקל לגורמים שניתנים בקלות לכימות – מספר פרסומים, האימפקט פקטור של כתבי העת שבהם פרסמו, מספר הציטוטים להם זכו הפרסומים שלהם, כמה כסף השיגו ממענקי מחקר או מדדים שקשורים לפרסומים כגון h-index

סקר שערך nature במאי 2010 שם לו למטרה לבדוק כמה היבטים של הנושא כגון: באילו מדדים משתמשים במוסדות השונים להערכת חוקרים, לאיזה מדדים ניתן משקל יתר, מהי שביעות הרצון של החוקרים מהדרך בה הם מוערכים, אלו 5 מדדים להערכה מועדפים על החוקרים, והאם לאופן הערכת החוקרים השפעה על התנהגותם כך למשל אם המוסד שם דגש על מספר הפרסומים האם יש לכך השפעה על התנהגות החוקר – התמקדות במיוחד בכמות הפרסומים.

לסקר ענו 150 חוקרים . כמו כן Nature יצר קשר עם ראשי מחלקות ואנשי אדמיניסטרציה ב- 30 מוסדות מחקר ברחבי העולם לבדוק כיצד משתמשים במדדים שאוזכרו לעיל להערכת חוקרים ואיזה משקל הם מייחסים לכל אחד מהמדדים בבואם להעריך חוקרים.

מתוצאות הסקר עולה שהחוקרים סבורים שהמדדים, שלהם מייחסים אנשי האדמיניסטרציה חשיבות בהערכתם אותם,  הם:  מענקי מחקר והכנסה, מספר פרסומים , פרסומים בכתבי עת עם אימפקט פקטור גבוה, ומספר ציטוטים. רוב של 63% מהחוקרים אינם שבעי רצון מהאופן בו נעשה שימוש על ידי האדמיניסטרציה במדדים אלו .

אנשי אדמיניסטרציה לעומתם סבורים אחרת…

יחד עם זאת יש לציין שלמרות חוסר שביעות הרצון הכללי של החוקרים מהמדדים להערכה, חלקם הביעו את העדפתם למדדים כמותיים ובאופן מפתיע כאשר החוקרים נדרשו לבחור מתוך רשימת קריטריונים מוצעים קריטריונים להערכה שאותם היו מעדיפים להערכתם – הם בחרו לרוב במדדים כמותיים – פרסום בכתבי עת עם אימפקט פקטור גבוה, מענקי מחקר, הדרכת סטודנטים ומספר ציטוטים .

לאור זאת האתגר העומד בפני אנשי האדמיניסטרציה הוא לא לצמצם את חלקם של המדדים הכמותיים בהערכה אלא ליישמם ביתר בהירות, עקביות ושקיפות……

כיצד ? פירוט יתר ומידע נוסף בנושא אפשר למצוא במסמכים שלהלן: 

תוצאות הסקר 

מאמר ב-Nuture מיוני 2010 בנושא

כתבה נוספת על אוניברסיטאות באירופה והערכת חוקרים

CWTS Journal Indicators ומדדים להערכת כתבי עת

indicatorsCWTS Journal Indicators הוא אתר שיועד לפיתוח, הפצה ודיונים בנושא מדדים להערכת כתבי עת. לאחרונה Centre for Science and Technology Studies – CWTS של אוניברסיטת ליידן שבהולנד פיתח מדד בשם Source Normalized Impact per Paper – SNIP, שמודד את אימפקט הציטוטים הקונטקסטואלי של כתב העת – המדד לוקח בחשבון מאפיינים של התחום הנושאי של כתב העת , מאפשר להשוות כתבי עת בתחומי נושאים שונים ויכול להוות אלטרנטיבה ל- Impact factor של ISI . פרטים על המדד אפשר למצוא במסמך בשם :
Measuring contextual citation impact of scientific journals

באתר CWTS Journal Indicators אפשר לחפש על פי כתב עת מסוים ושנה מסוימת ולקבל מדדים שונים של כתבי עת : מספר פרסומים שפיטים שפורסמו בשלוש שנים קודמות, אחוז מאמרי סקירה בכתב העת (מתוך הנחה שמאמרי סקירה נוטים להיות מצוטטים יותר ובעלי אימפקט פקטור גבוה יותר), מדד SNIP ,מדד RIP  – מספר ציטוטים בשנה מסוימת של מאמרים שפורסמו ב- 3 שנים קודמות באותו כתב עת, לחלק במספר הפרסומים בכתב העת באותן שלוש שנים, ציטוטים עצמיים ועוד ..

כמו כן באתר אפשר למצוא מדדים שונים שמתייחסים לקטגוריות הנושאיות ב- Scopus

לאתר 

על המדדים שמספק האתר והמשמעות שלהם 

תיאור מדד SNIP

Scientometrics 2.0 – גישה חדשה להערכה מדעית

הגל הגואה של ספרות מדעית חושף את נקודות התורפה של השיטות מבוססות הציטוטים להערכה מדעית שקיימים היום..

מאמר שהתפרסם ביולי 2010 מציג גישה חדשה להערכה מדעית.
גישה חדשה ויתכן גם מבטיחה היא לבדוק את השימוש והציטוטים של מאמרים בפורום חדש – שירותי Web 2.0 כגון: אתרי סימניות חברתיות ומיקרובלוגים. מדדים שמבוססים על נתונים אלו מהווים את מה שנקרא במאמר Scientometics 2.0 .

המאמר מציג רשימה כוללת של שירותי Web 2.0 ומעריך את הפוטנציאל של כל אחד מהם ככלי להערכה מדעית. כמו כן המאמר מעלה הצעות נוספות לבניה והערכה של מדדים מבוססי  Web 2.0.

מוצגים במאמר 10 קטגוריות של כלי Web 2.0 :
• אתרי סימניות דוגמת CiteULike
• כלים לניהול רשומות ביבליוגרפיות דוגמת Zotero
• אתרי חדשות ומאמרים עדכניים מומלצים דוגמת Faculty of 1000
• הערות ותגובות על מאמרים באתרי מו"לים דוגמת PloS
• מיקרובלוגים דוגמת Twitter
• וויקיפדיה ואתרי אנציקלופדיה נוספים בפורמט וויקי דוגמת Encyclopedia of Life
• בלוגים דוגמת Research Blogging
• רשתות חברתיות דוגמת Nature Networks
• מאגרי נתונים פתוחים דוגמת GenBank
• ואתרי וידאו חברתיים דוגמת SciVee. .

בכל אחת מהקטגוריות מדווח על המחקר בתחום, מאוזכרים כלים ספציפיים, והערכה של זמינות הנתונים.

המדדים שמבוססים על כלים אלה יוכלו לשמש להערכה מדעית, לסינון מאמרים לצורך שירותי אלרט, ולמיפוי המחקר המדעי בתחומי המחקר השונים .

למרות המגבלות של מדדים אלו,  נראה שהם מתאימים יותר לעולם המדע היום בו הספרות המדעית גואה במהירות ואשר בו מדדים מבוססי ציטוטים נתפסים כאיטיים מדי וצרים מדי.

 

ResEval וכלים נוספים להערכה מדעית

ResEval הוא כלי חופשי להערכה מדעית של מחברים. הכלי מסתמך היום בעיקר על מידע על ציטוטים מגוגל סקולר. בעתיד הכוונה להסתמך על מקורות נוספים כגון: Scopus ו- ACM.
הכלי מספק מספר מדדים להערכה של מחבר שמאוחזרים בזמן אמת מגוגל סקולר:
• C- Index – סכום כולל של ציטוטים – סך הציטוטים שקיבל כל אחד מהמסמכים שנכתבו על ידי המחבר
• N – index – מספר פרסומים כולל
• ממוצע ציטוטים לפרסום – היחס בין סך כל הציטוטים ומספר הפרסומים
• H-Index – על פי מדד זה – חוקר עם אינדקס h פרסם h מאמרים שכול אחד מהם צוטט על ידי אחרים לפחות h פעמים.
• G-Index – בשורה של מאמרים מדורגים בסדר יורד של מספר הציטוטים שקיבלו, ה-g-index הוא המספר הגבוה ביותר שמספר g מאמרים מראש הרשימה קבלו ביחד לפחות g^2 ציטוטים
הנתונים שלעיל מעובדים בזמן אמת בהסתמך על המידע בגוגל סקולר.
למספר חוקרים מתקבלים מדדים נוספים שעובדו קודם לכן (שלא בזמן אמת).

ל- ResEval יש שני מנשקים – בסיסי ומתקדם עם אפשרויות רבות יותר להגבלת החיפוש.

יש לציין שכשבדקתי את המערכת בחיפושים של מחברים מוכנים מראש שספקה המערכת אכן קיבלתי מיד את המדדים שהוזכרו לעיל . לעומת זאת זמן התגובה של המערכת בחיפושים בזמן אמת הוא איטי מאוד.

במקרים כאלה אולי כדאי לנסות מנועי-על ותיקים יותר להערכת מחברים שאף הם מסתמכים על גוגל סקולר כמו: Quadsearch ו – H-View Visualizer

כמו כן כדאי תמיד לזכור את האופציה הקיימת ב- Web of Science – ממסך תוצאות החיפוש של מחבר מסוים , לבחור באופציה Create Citation Report (בחלק הימני העליון של המסך ) מתקבלות תוצאות הכוללות את מספר הציטוטים, ממוצע ציטוטים לפריט, ו- h-index .
h-index זה שמסתמך על המאגר Web of Science יהיה שונה מהערכים שיתקבלו בכלים שהוזכרו לעיל שמתבססים על Google Scholar.

כלים נוספים בהקשר של סטטיסטיקות של חוקרים שכדאי לזכור הם:
ISIHighlyCited.com ו- ResearcherID

VOSviewer – תוכנה חופשית להצגת ניתוחים ביבליומטריים בצורה ויזואלית

map1VOSviewer היא תוכנה חופשית מבוססת טכנולוגית VOS ליצירת מפות. מטרתה העיקרית היא לשמש ככלי לניתוחים ביבליומטריים . כך למשל התוכנה יכולה לצייר מפה של מחברים וכתבי עת בהסתמך על נתוני ציטוטים. דוגמה של מפה כזו המתארת את המבנה של העולם המדעי באמצעות קשרים בין 5000 כתבי עת מדעיים שמתבססים על נתוני ציטוטים מתוך Web of Science, אפשר למצוא באתר. .

באתר אפשר לראות העתקים של תצוגות מסך שנשמרו כקובץ גראפי ואשר מדגימים את יכולותיה של התוכנה.

התוכנה כתובה בשפת Java ונמצאת בתאימות עם רוב הפלטפורמות. היא ניתנת להורדה חופשית באתר התוכנה . אפשר גם להריץ את התוכנה ולהשתמש בה ישירות מהווב .

על אופן ההורדה ושימוש בתוכנה בווב אפשר לקרוא באתר. הרצת התוכנה מהאתר צורכת הרבה זיכרון. לכן מומלץ לצורך יצירת מפות גדולות להשתמש בתוכנה ולא באתר הוובי. קובצי התוכנה כוללים גם קובץ עם מדריך מפורט על הפונקציונליות של התוכנה והשימוש בה.

באתר שמתעד את התוכנה אפשר למצוא קישורים לפרסומים מדעיים וטכניים בהם ניתן למצוא מידע טכני מפורט על התוכנה ומצגות שמתארות את הפונקציונליות של התוכנה.