המאגר הרפואי Pubmed ומנוע החיפוש המדעי Google Scholar שניהם כלים חופשיים. עם גידול השימוש בגוגל סקולר גם לחיפושים בתחום הרפואה, מעניין לערוך השוואה בין שני הכלים.
מחקר שתוצאותיו התפרסמו בגיליון אוגוסט 2013 של כתב העת Journal of Medical Internet Research עשה זאת. המחקר השווה את יעילות אחזור המידע של ספרות רפואית קלינית בין גוגל סקולר ו- Pubmed .
ההשוואה בוצעה על ידי 100 שאילתות מתחום הנפרולוגיה שבוצעו בשני הכלים. מילות החיפוש לצורך החיפושים סופקו על ידי מומחים בתחום. ההערכה נעשתה על ידי השוואה של ההחזר והדיוק – 2 מדדים שימושים ומקובלים בהערכת מערכות מידע על פי פרדיגמת המערכת. נבדקו 40 תוצאות ראשונות בכל אחת מהמערכות. בנוסף לבדיקת שיעורי ההחזר והדיוק נבדק גם אחוז המאמרים בטקסט מלא מתוך המאמרים הרלוונטיים שאוחזרו בכול אחת מהמערכות.
המחקר מצא שגוגל סקולר אחזר פי שניים מאמרים רלוונטיים מ- Pubmed ופי שלוש מאמרים רלוונטיים בטקסט מלא.
בהתחשב בעובדה שנבדקו 40 תוצאות ראשונות , יתכן שהיתרון בשיעורי הרלוונטיות של התוצאות בגוגל סקולר נבע מהאופן השונה של הצגת התוצאות בשתי המערכות ומהעובדה שגוגל סקולר מדרג את התוצאות על פי מידת הרלוונטיות. כאשר נלקחו בחשבון כל התוצאות ולא רק 40 התוצאות הראשונות שיעורי ההחזר היו דומים בגוגל סקולר ו- Pubmed , בעוד ששיעורי הדיוק היו טובים יותר ב-Pubmed . ממצאים אלה דומים לממצאי מחקרים קודמים בהם נערכה השוואה בין שני הכלים בתחומי רפואה אחרים. שיעורי ההחזר גדולים יותר בגוגל סקולר לעומת שיעורי דיוק גדולים יותר ב- Pubmed .
בכל מקרה, בהתחשב בעובדה שבדרך כלל המשתמש לא בודק את כול התוצאות, מסקנת המחקר על פיה מתוך 40 התוצאות הראשונות שיעורי המאמרים הרלוונטיים ואלה שנמצאו בטקסט מלא היו גבוהים יותר בגוגל סקולר, משמעותית למשתמש.
להכללת התוצאות יש צורך במחקרים דומים בתחומי רפואה נוספים .