החומר האקדמי בווב נמצא בגידול מתמשך , ותנועת הגישה הפתוחה תורמת רבות לתופעה.
בנוסף למנועי חיפוש מדעיים מוכרים של חברות מסחריות כגון: Scirus , Google Scholar, Microsoft Academic Search ו – Q-sensei קיימים מנועי מנועי חיפוש מדעיים של ספריות כגון: BASE – Bielefeld Academic Search של אוניברסיטת בילפלד שבגרמניה ו- ScientificCommons של אוניברסיטת סנט גלן שבשוויץ.
מנועי אינדקס מסחריים דוגמת גוגל סקולר מסתמכים בעיקר על זחלנים שסורקים את הווב.
מנועים מדעיים שפותחו על ידי הספריות כגון Base כוללים באינדקסים שלהם בדרך כלל את מידע העל ממאגרים שמיישמים את פרוטוקול OAI-PMH – Open Archives Initiative Protocol for Metadata Harvesting
פרוטוקול OAI-PMH הושק בשנת 2001 עם החזון לפתח ולקדם סטנדרטים אינטראופרביליים (שיאפשרו למערכות בעלות פלטפורמות שונות מבחינת תוכנה, חומרה ומנשקים, להחליף מידע במינימום אבדן תוכן ופונקציונליות) לצורך הפצה יעילה של מידע.
פותח פרוטוקול לחילופי מידע-על שמבוסס על הפורמט של דבלין קור. הרעיון היה להגיע לתקנון של מידע העל כדי לאפשר יתר גישה ונראות למקורות חבויים שאינם מאונדקסים היטב על ידי מנועי החיפוש הכללים. פרוטוקול זה אומץ על ידי מוסדות שונים ואפשר גישה למקורות מבוזרים.
מודל זה של איסוף המידע מתבסס על 2 שחקנים עיקריים: ספקי המידע וספקי השירות . המידע נאסף מספקי המידע באמצעות פרוטוקול OAI-PMH לאינדקס מרכזי.
מחקרים משנת 2006 ו- 2008 שבדקו את מידת הכיסוי של אוספים במסגרת OAI-PMH במנועי חיפוש כלליים מצאו שהכיסוי חלקי בלבד. יתירה מזו, באפריל 2008 גוגל הודיעה שהיא מצמצמת את תמיכתה בפרוטוקול.לאור העובדות והמחקרים שמלמדים שמנועי חיפוש אינם מכסים או מכסים רק חלקית מאגרים מבוססי פרוטוקול OAI-PMH חשוב לתת את הדעת על אותם מנועי חיפוש ופורטלים מבוססי OAI-PMH כמו OAIster , BASE ו- ScientificCommons כאשר מחפשים חומר מדעי.
מספר הפרסומים במנועי חיפוש אלה נמצא בגידול מתמשך. על פי דו"ח מרץ 2010 של אוניברסיטת הרווארד, BASE שנחשב למנוע החיפוש הגדול ביותר למאגרים מוסדיים מכסה 1584 ספקי מידע ומחפש בלמעלה מ- 23 מיליון מסמכים, גידול של 1.2 מהרבעון האחרון וגידול של למעלה מ- 13 אלף מסמכים ביום.
ScientificCommons מכסה 1202 מאגרים ומספר הפרסומים בו עולה על 35 מיליון.