ב- 2 בנובמבר 2015  הושק מנוע החיפוש המדעי Semantic Scholar של  Allen Institute  for Artificial Intelligence  שב. Seattle.

מדען המחשב אורן עציוני בעל היסטוריה מרשימה בתחום כלי החיפוש עומד מאחורי המנוע .

מנוע החיפוש קורא, מתמצת ומסווג ממצאים מ-2 מיליון מאמרים מדעיים שמתפרסמים מדי שנה. למעלה ממחצית מסמכים אלה מעולם לא נקראו על ידי יותר מ- 3 אנשים. המערכת סורקת מאמרים מדעיים  בווב  , מזהה ציטוטים והפניות   בטקסט  וממפתחת את הסטים של  הנתונים ושיטות המחקר שבהם נעשה שימוש

תוצאות החיפוש כוללות גם תקציר ומספר ציטוטים בשלב. אפשר לעדן את השאילתה על פי  מספר פרמטרים כולל סטים של נתונים, מחבר, מילות מפתח ותאריך.  בשלב זה  מנוע החיפוש מתמקד במדעי המחשב . בעתיד הכוונה להרחיב את החיפוש בתחומים נוספים: כולל ביולוגיה, פיסיקה ושאר מדעים..

המטרה לסייע לאנשי מדע ולתת בידם כלי לניתוח המצב בתחום המחקר שלהם בדרך קלה יותר כולל תמיכה בשאילתות בשפה טבעית . כדברי אורן עציוני:

“Our vision is of a scientist’s apprentice, giving researchers a very powerful way to analyse what’s going on in their field,” says Oren Etzioni, director of AI2. “If you’re a medical researcher, you could ask ‘what’s the latest on these drug interactions?’ Or even a query in natural language like, ‘what are papers saying about middle-aged women with diabetes and this particular drug?'”

לכתבה בנושא

למנוע החיפוש

IDMARCH        הוא מנוע חיפוש למסמכי PDF  .  על פי מה שמוצהר באתר הוא כולל למעלה מ- 18 מיליון מסמכי PDF   .  המנוע מחלץ מידע-על סמנטי מהמסמכים. מלות מפתח שמתארות את המסמך מוצגות  ליד כול אחת מתוצאות החיפוש  ולחיצה על כול אחת ממילות מפתח אלה מובילה למסמכים רלוונטיים בנושא. באופן זה אפשר לדפדף ולהגיע למידע רלוונטי נוסף.

Hulbee  –  מנוע חיפוש חדש משוויץ שמצהיר אף הוא על שימוש בטכנולוגיה סמנטית ומבטיח לשמור על פרטיות. מאפשר בחירה של ארצות כדי לאפשר תוצאות מותאמות יותר למקום ולשיפור הרלוונטיות של התוצאות.  אפשר להגביל מראש את החיפוש לדפי  ווב, לתמונות, וידאו , מוסיקה ושופינג .

כולל מנשק ויזואלי מזמין של תוצאות החיפוש. בצד השמאלי של המסך מוצגות מילות מפתח בצורת ענן שמתארות אספקטים/מקורות  שונים של תוצאות החיפוש. אפשר להגביל את תוצאות החיפוש בהתאם על ידי בחירה של מילת מפתח אחת או יותר. .

Youtube   וגוגל  הם כנראה עדיין המקורות הטובים ביותר לחיפוש וידיאו  אבל קיימים גם מקורות נוספים.

בכתבה מעודכנת  מ- 22 ביולי 2015 אפשר למצוא רשימה מוארת של מנועי חיפוש ייעודיים  נוספים לוידיאו וגם קישור לכתבה ובה  טיפים לחיפוש ב- youtube  .על הרשימה נמנים  מנועי חיפוש הבאים:

 
Yahoo Screen –  מנוע חיפוש שמתמקד בתכני הוידיאו  שלו כמקור עיקרי למאגר.

Bing Video  –  מחפש בהרבה אתרי וידיאו ברשת.

AOL Video  –  כבינג מחפש בהרבה אתרי וידיאו .

eHOW – מאגר מידע מצומצם יותר, ייחודו  מתמקד בתכני  " how-to" .

MeFeedia.com  – מנוע ותיק, מאפשר חיפוש, דפדוף והעלאת תכנים.  

 
Blinkx – אף הוא מנוע  ותיק, עיקר תוצאות החיפוש מ- youtube .

Veoh – מחפש בעיקר בתכנים שלו.

מלבד מנועי  חיפוש אלה ייעודיים לוידיאו ישנם למעלה מ- 300 אתרים לשיתוף וידיאו.    ומי שמעוניין לחפש את היוצרים יוכל לעשות זאת דרך מנוע החיפוש tubular creator profiles

לכתבה

האינטרנט של הדברים, בו "דברים" מחוברים לרשת  בדרך כלל בחיבור אלחוטי כשבהם מותקנים חיישנים שונים שאוספים מידע , מידע שיכול להיצבר במאגרי מידע ברשת,  מתפתח.   על פי  research    ABI מספר ההתקנים המחוברים בחיבור אלחוטי לרשת האינטרנט יהיה למעלה מפי 2 ממספר ההתקנים היום,  ויגיע ל- 40.9 מיליארד בשנת 2020 .

Shodan  הוא מנוע חיפוש לאינטרנט של הדברים.  כשם שמנוע חיפוש כללי סטנדרטי, דוגמת גוגל,  סורק את הווב בחיפושו אחר דפי ווב , Shodan  מנווט בווב ומחפש שרתים, מצלמות, מדפסות , פלאפונים סלולריים, מערכות בקרה , נתבים ודברים נוספים שמחוברים לרשת האינטרנט  וצובר מידע על ההתקנים המחוברים והשירותים שלהם. בעוד שגוגל מתמקד במידע  המועבר Shodan מתמקד במידע-על  במכשירים ובתוכנה  – הוא צובר מידע על מכשירים , המיקום המדויק שלהם ומערכות התוכנה שמפעילות אותם.

מאפשר יצירת דוחות, דוגמה לדוח  נמצאת באתר  . כמו כן באתר של המנוע אפשר להוריד רכיבי תוכנה (plugins ) לדפדפני כרום ופיירפוקס שמאפשרים , על פי מה שמצוין באתר,  לראות את המידע שיש ל- shodan על האתרים בהם מבקר המשתמש כולל אלו שירותים הם מריצים .

מנוע החיפוש יכול לשמש למטרות טובות ומקצועיות וגם למודיעין עסקי אבל בה בעת שימוש לרעה במידע שמספק מנוע החיפוש במיוחד גישה להתקני בקרה לא מאובטחים  עלול להיות מסוכן ובעייתי. באתר יש קישורים לכתבות על המנוע ששופכות אור על נושא זה.

מנוע החיפוש נוסף לאחרונה לרשימה ארוכה של מקורות מידע בנושא האינטרנט של הדברים של  Marcus P. Zillman .

Top 100 Genealogy Sites Mega-Search הוא מנוע מותאם אישית של גוגל  שכולל באינדקס שלו את Top 100 Genealogy Websites of 2015 של Genealogy InTime Magazine.  מן הראוי לציין שהקריטריונים לבחירתם של  100 אתרים אלו כפופולריים ביותר היו  מקומם ב- Alexa לצד 3 מדדים נוספים – מספר המבקרים באתר, משך זמן הביקור באתר וכמות התכנים שנצרכה.

מנוע החיפוש חופשי והוא כולל  2 אופציות חיפוש – האחת Full 100 Mega Search חיפוש בכל 100 האתרים – אופציה זו כוללת גם חיפוש באתרים שאינם חופשיים   והאופציה השנייה היא “Free” 46 Mega Search שמאפשרת חיפוש רק באתרים החופשיים. האופציה השנייה החופשית מומלצת.

Genalogy in Time 2015 Top Mega-Search Engine-

Genealogy in Time's 46 Free of Top 100 Mega-Search Engine

היום כאשר מחפשים בגוגל מצב רפואי מסוים מקבלים מידע אודות, סימפטומים וטיפול,  לעתים המידע מלווה גם באילוסטרציה.   המידע לקוח מגרף הידע של גוגל , היום המידע זמין למצבים רפואיים שכיחים וגוגל ממשיכה  להגדיל את כמות המצבים הרפואיים. דוגמה לערך כזה אפשר לראות בתוצאות החיפוש בדף   https://www.google.com/search?q=concussion

על פי מה שכתוב בדף העזרה של גוגל  בנושא מידע רפואי זה  הוא תוצאה של קומבינציה של אלגוריתמים ואנשי מקצוע ברפואה . בשלב ראשון האלגוריתמים של גוגל מאתרים ומנתחים מידע רפואי מאתרים איכותיים בווב. לאחר מכן צוותות של רופאים בגוגל ומ- Mayo Clinic סוקרים ובודקים בזהירות את המידע הטקסטואלי והגרפי.

יש לציין שהחיפושים נשמרים בהיסטורית החיפושים של המשתמש אם הוא במצב של כניסה לחשבון וניתנים למחיקה מההיסטוריה של המשתמש בכול עת .

העובדה ש- 1 מתוך 20 חיפושים בגוגל הוא למטרות רפואיות  וחשוב לקבל מידע מהיר ואמין עמדה אף היא מאחורי יזמה חדשה זו של גוגל.

גוגל בפוסט הרשמי שלה מ- 10 בפברואר 2015 מציינת  שמידע רפואי בסיסי זה כמובן אינו מייתר התייעצות עם רופא אך הוא מאפשר למשתמש לאתר ביתר קלות מידע נוסף ממקורות אחרים אמינים ולדעת איזה שאלות להפנות לרופא.

מידע רפואי זה שגוגל מציג הוא במסגרת המאמצים של גוגל להגיע לתשובות ישירות לשאלות בתוצאות החיפוש  ופיתוח פטנטים לצורך כך.

בדצמבר 2010   כתבתי פוסט על מנוע החיפוש Blekko   והטכנולוגיה הייחודית שלו לפילוח הווב תוך שימוש ב-Slashtags  שמאפשרים למשתמש למקד את החיפוש על ידי שימוש בהגבלות מסוימות בהתאם למה שמופיע אחרי ה- /

בשנים  2012,  2013 ו- 2014 הוא נמנה על מנעי החיפוש הפופולריים יותר על פי דרוג eBizMBA

ב- 27  במרץ 2015  המנוע נסגר וטכנולוגיה מסוימת שלו נרכשה  על ידי  IBM Watson – טכנולוגיה שתוארה כמתקדמת :

Blekko brings advanced Web-crawling," categorization and intelligent filtering technology.  Its technology crawls the Web continually and  gathers information from the most highly relevant and most credible Web pages. It uses classification techniques to create thousands of "topical categories, making that data more useful and insightful

ובאופן מטפורי:

Blekko’s technologies are like oil exploration and production teams that locate the" "high-quality oil, drill, and deliver it to the refinery.

סגירת המנוע הוא הפסד למשתמשיו  . נקווה שהטכנולוגיה שלו תתרום לתחום ה- big data  כפי שצופים ב- IBM Watson .

לכתבה בנושא

הודעה IBM Watson  על הרכישה

במנועי חיפוש המסורתיים חיפוש מסמכים בהם מופיעים ביטויים מתמטיים ונוסחאות הוא לא יעיל. לאחרונה חוקרים  ב-  Rochester Institute of Technology   פתחו מנוע חיפוש מתמטי ייעודי   -Tangent      שמסוגל לעשות זאת .

.השאילתות במנוע חיפוש זה הם ביטויים מתמטיים  ומנוע החיפוש מאחזר  מסמכים בהם ניתן  למצוא ביטויים מתמטיים. אתר דמונסטרציה של המנוע נמצא בכתובת  http://saskatoon.cs.rit.edu/tangent/random

את הנוסחאות אפשר להזין בתיבת החיפוש בשפת Latex   או על ידי רישום הנוסחאות עצמן.

האינדקס של המנוע כולל הרבה אוספים ובתוכם גם Wikipedia וחלק מאוסף המאמרים במאגר החופשי arXiv . המנוע כמנועי החיפוש המסורתיים משתמש לאחסון הנתונים בקובץ מהופך אלא שהמידע המאוחסן בו שונה

פירוט נוסף על אופן פעילותו של מנוע החיפוש ומידע נוסף ניתן למצוא בכתבה המלאה

לאתר הדמונסטרציה של המנוע

Vivo הוא יישום וובי סמנטי חופשי בקוד פתוח שמאפשר גילוי ידע מחקרי ברמת המוסד ומעבר לו. היישום פותח כבר ב- 2003  על ידי אוניברסיטת קורנל. . היישום מספק מידע מקושר באמצעות RDF     ובכך הופך את המשתתפים בו לחלק מהווב הסמנטי.

רשת VIVO      בווב היא  רשת לאומית בה משתתפים מוסדות  בעלי התקנה מקומית של VIVO    או בעלי יישומים עם יכולת  לספק מידע סמנטי . כיום חברים בה 7 מוסדות  בארה"ב  והיא פתוחה למוסדות נוספים שירצו להצטרף..

לאחרונה נעשה ניסיון לנצל את הפוטנציאל של vivo  לסקטור המחקר בתחום החקלאות . ניסיון  זה הוליד את Agriprofiles – כלי לגילוי ידע  בתחום החקלאות

למידע נוסף

מנועי החיפוש  בינג   ויאהו  נהנים מהסכם עם טוויטר על הכללת מידע מטוויטר בזמן אמת בתוצאות החיפוש  שלהם. לגוגל היה הסכם  דומה עם טוויטר  מאז 2009  אבל ההסכם לא חודש ב- 2011.

על פי דיווח מבלומברג שתי החברות  גוגל וטוויטר הגיעו להסכם לחדש את הכללתו אוטומטית של מידע בזמן אמת מטוויטר בתוצאות החיפוש של גוגל  במחצית הראשונה של השנה.יש לציין שטוויטר סרבה להתייחס לנושא

שיתוף פעולה זה ישחרר את גוגל מהצורך לסרוק את שירותי טוייטר כדי לכלול ציוצים באינדקס – תהליך  שגוזל זמן. ההסכם החדש יאפשר את נראות הציוצים בתוצאות החיפוש  של גוגל מיד לאחר שנכתבו בטוויטר.

העסקה  תהיה חיובית לטוויטר אבל עלולות  להיות לה השלכות שליליות על הרשת החברתית של גוגל – גוגל +.   ישנן פרשנויות שחידוש ההסכם מהווה הנמכת הילוך מצד גוגל ביחס לגוגל פלוס

לכתבה  בנושא

באינטרנט  יש  שפע של מנועי חיפוש למטרות שונות  ומסוגים שונים- מנועי אינדקס, מנועי על ומנועי חיפוש ייעודיים

בכתבה ב- 20 שהתפרסמה  ב- Learnu בינואר 2015 יש  רשימה של 40 מנועי חיפוש שמוגדרים כמיועדים לסטודנטים. מנועי החיפוש ברשימה מסווגים  לקטגוריות הבאות:  מנועי חיפוש אקדמיים, מנועי על , מנועי חיפוש לקובצי מדיה (תמונות ווידיאו)  ומנועי חיפוש חברתיים.

רבים ממנועי החיפוש ברשימה בוודאי מוכרים . מבין מנועי העל כדאי לציין  את מנוע החיפוש info.com אשר  משלב  בתוצאות החיפוש שלו  תוצאות ממנועי חיפוש המובילים כולל –  Google, yahoo, Bing, Yandex, Ask, Open Directory   . מאחר ואין חפיפה גדולה בין תוצאות החיפוש של מנועי החיפוש יש בחיפוש זה יתרון. אפשר להגביל   את תוצאות החיפוש לתמונות, חדשות  ועוד.

כפי שמצוין באתר למנוע  יש לו גם תוספי תוכנה _ (plugins)למספר דפדפנים.

מנוע על נוסף שיכול להקל את מלאכת החיפוש הוא  MsFreckles .

כדאי לזכור גם את מנוע החיפוש לחיפוש חומרים בגישה פתוחה ממאגרי מידע מוסדיים base .

לרשימת מנועי החיפוש

מנוע החיפוש DuckDuckGo מתאפיין בכך  שהוא שומר על הפרטיות של המשתמש. הוא אינו משתף שאילתות של המשתמשים עם אתרים אחרים, אינו שומר היסטוריה של חיפושים ואינו שומר מידע  שקשור למקום/ מחשב  של המשתמש – כפי שעושים מנועי חיפוש אחרים כדי  להגדיל את מאמצי הפרסום שלהם.

נתונים סטטיסטיים  השנה מורים על  גידול ניכר במספר המשתמשים שלו. בסוף 2014  נרשמו  כ- 7 מיליון  שאילתות ישירות ביום .  הגידול ניכר בעיקר בסוף השנה  ואחראים בחברה מייחסים זאת  להוספתו כאופצית חיפוש  בדפדפנים של  Apple  ו- Mozilla.  בספטמבר  Apple  הטמיעה את  DuckDuckGO   כאופצית חיפוש בדפדפן   Safari  ( גוגל הוא עדיין ברירת המחדל)  . בנובמבר  Mozilla הוסיפה את DuckDuckGo לדפדפן  Firefox.

נתוני  השימוש ב- DuckDuckGO   מלמדים שצעדים אלה תרמו לגידול.  בעוד שב-8 החודשים הראשונים של שנת 2014  שיעור  הגידול  הממוצע החודשי היה 3.5%  בארבעת החודשים האחרונים של השנה קצב הגידול  היה 10.2%   – כמעט פי 3.

יש להניח גם שהגידול בשימוש ב- DuckDuckGO   מלמד על המודעות הגוברת בקרב משתמשים לבעית הפרטיות במרשתת.

מידע נוסף בכתבה בנושא

בשנת 2014  מנוע החיפוש גוגל המשיך להיות דומיננטי בשוק החיפוש ותפס  67% משוק החיפוש על מחשבים שולחניים בארה"ב

אך לגבי העתיד על פי דברי CEO   Larry Page  החברה  מתכוונת להרחיב את פעילותה מעבר לשוק החיפוש.

על פי תחזיות גוגל תרחיב את פעילותה ב-4 תחומים נוספים:

• גרסה צרכנית של  Google Glass. לא ברור מה המוצר יציע מעבר לשלב  ה"אב טיפוס" . צופים לירידה במחירו של המוצר.
• השקעותיה של גוגל  ב-   YouTube גדולות. צופים שגוגל תעשה עסקאות עם  חברות פרסום כדי להביא את תקציבי הפרסום שלהן ל- Youtube.
• חברת גוגל תעשה צעדים להרחיב את שוק מערכת ההפעלה אנדרואיד שתופסת כבר היום 80% מהסמרטפונים בעולם על ידי פיתוח גרסאות מתקדמות  וגם צעדים בכיוון מכשירים לבישים נתמכי אנדרואיד.
• כמו כן צופים המשך חקירות חוסר אמון כלפי החברה באירופה. למרות שגוגל  ממקדת מאמצים בתחומי עסקים חדשים החיפוש הוא עדיין מקור לחמה של החברה   והדומיננטיות של החברה בתחום זה תמשיך להיות כרוכה ב"כאבי ראש"  של חקירות חוסר אמון.  בין הטענות שהושמעו כנגדה בעבר היו מתן עדיפות       בתוצאות החיפוש   לפלטפורמות שלה כגון   -Youtube  – Google+    על פני פלטפורמות מתחרות, נושא "הזכות להישכח"  –  זכות שמתירה לאנשים לבקש ששמם לא יופיע בתוצאות החיפוש אם התכנים לא רלוונטיים או לא עדכניים.  כול אלה מעידים על חשדות נרחבות בגוגל באירופה  שצופים שתמשכנה.

לכתבה בנושא

ברשת יש  מגוון עצום של מנועי חיפוש למטרות שונות וקשה באמת לעקוב ולזכור את כולם. אפשר לצורך כך להסתייע באתרים שמארגנים את מנועי החיפוש על פי קטגוריות/סוגים.

תצוגה ויזואלית אחת מעניינת של מנועי חיפוש על פי קטגוריות/סוגים אפשר למצוא באתר  של .   Phil BERDLEY . בתצוגה יש   למעלה מ- 200 מנועי חיפוש  על פי  מגוון קטגוריות כגון:  מנועי על , מדריכים, מנועים לחיפוש חברתי, וידאו, אודיו,  תמונות, חדשות  ועוד…

ברשימת מנועי החיפוש אפשר למצוא מנועי חיפוש מוכרים ואולי מוכרים פחות כגון:  המדריך   הנושאי  FINDELIO,  WikiWorldBook לחיפוש אנשים, Zeekly שתומך בשמירה  על הפרטיות , Findsounds לחיפוש קובצי קול ועוד ..

יש לציין שארגון מנועי החיפוש על פי קטגוריות נעשה בעזרת pearltrees שירות וובי חופשי עם אפשרות להרחבת מאפיינים נוספים בתשלום אשר מאפשר ארגון אובייקטים שונים בצורה ויזואלית

לאתר