חדש בג'יסטור – כלי בינה מלאכותית (גרסת בטא)

ג'יסטור, אחד המאגרים המובילים בתחומי מדעי הרוח והאמנויות, הוא מהראשונים לשלב יכולות של בינה מלאכותית בממשק המשתמש שלו. כלים אלו זמינים בינתיים רק בגרסת הבטא שפתוחה למשתמשים שנרשמו אליה מבעוד מועד, וצפויים להיות נגישים לכל קהל המנויים בהמשך. על החידושים השונים ניתן לקרוא בפוסט שפורסם לאחרונה בבלוג של ג'יסטור. להלן סיכום הנקודות המרכזיות –

כלי הAI החדש מכוון לסייע למשתמש לשאול שאלות על מאמרים, ספרים או דוחות מחקר בעת קריאתם וזאת כדי להקל על איתור, הערכת והבנת תוכן רלוונטי. החזון של ג'יסטור בפיתוח הזה הוא לאפשר לא רק חיפוש פשוט של מידע, כפי שהיה עד היום, אלא גם לתווך אותו לקורא ביעילות ולאפשר להשתמש בו בקלות ובצורה אפקטיבית.

הערכת איכות התוכן והרלוונטיות שלו

באופן מסורתי חוקרים נסמכים על מטאדאטה, תקצירים והדפים הראשונים של מאמרים/ספרים כדי להעריך את מידת הרלוונטיות של פריט המידע למחקר שלהם. בהקשר הזה, החיפוש המסורתי במאגרים ובקטלוגים אינו מיטבי. ראשית, לחלק ניכר מהמאמרים אין תקצירים. שנית, חיפוש על פי מילות מפתח מחזיר, לעיתים קרובות, אלפי תוצאות, ונדרשים זמן רב ומיומנות אקדמית גבוהה רק כדי לנפות מתוכן את אלו שעשויות להיות רלוונטיות.

הפתרון של ג'יסטור – כלים חדשים שיעזרו להגיע לתוצאות רלוונטיות ומדויקות יותר, וזאת באמצעות שימוש בצ'אט ייעודי למאגר הבנוי על טכנולוגיית מודל שפה גדול (LLM). ניתן, בין היתר –

1. לשאול  "על מה הטקסט" ולקבל תמצות של פריט מידע ספציפי

 

 

 

 

 

 

2. "חיפוש הקשר" – נפתח באופן אוטומטי ברגע שהמשתמש פותח פריט מידע ומסביר כיצד המאמר מתקשר לחיפוש שבוצע.

דרכים חדשות לגילוי מידע

חוקר איתר פריט מידע רלוונטי – כיצד יוכל להגיע ממנו לפריטים נוספים? כיום בג'יסטור ניתן להסתמך על רשימת המצטטים ועל המלצות של המערכת. אלו כלים מוגבלים ביכולותיהם, והם אינם זמינים עבור כל פריטי המידע.

הפתרון של ג'יסטור –

  1. "נושאים מומלצים" – רשימה של עד עשרה חיפושים קשורים, תיפתח באופן אוטומטי בצ'אט לאחר כניסה לפריט מידע. הקלקה על כל אחד מהם תחולל את החיפוש.
  2. "תוכן רלוונטי" – רשימה של עד עשרה פריטים דומים ומומלצים, נפתחת באופן אוטומטי בצ'אט לאחר כניסה לפריט מידע. הקלקה על כל אחד מהם תפתח את הפריט המבוקש.

קריאה והבנה

ניתן להשתמש בצ'אט שנפתח לאחר כניסה לפריט מידע גם כדי לשאול שאלות בשפה חופשית על פריט המידע – ולקבל תשובות בהסתמך על המאמר.

אמינות ושקיפות

כלי הצ'אט של ג'יסטור מתבסס רק על פריט המידע שהמשתמש בחר במתן התשובות שלו. כך אין סכנה של מתן מידע מוטעה, מסולף, לא אמין או מומצא.

יתרה מזו, התשובות בצ'אט כוללות הפניות וקישורים לטקסט של המאמר עליו הוא מגיב – כך שבכל עת ניתן "לקפוץ" לטקסט המקורי ולאמת את הנאמר. פונקציונליות זו מסייעת גם לאיתור מהיר של פרטים בתוך הטקסט.

 

 

 

 

 

 

תוכניות לעתיד

כאמור, כלים אלו זמינים כעת רק למשתמשים הרשומים לגרסת בטא. לאחר תקופת ניסיון, קבלת משוב מהקהל ושיפורים הכלים יהפכו זמינים לכלל מנויי הפלטפורמה.

כרגע יש רשימת המתנה לגרסת הבטא. למי שמעוניין להצטרף – לאחר הכניסה לחשבון האישי בג'יסטור תעלה תיבת פופ-אפ עם הצעה להרשם לגרסת הניסוי. הודעה תישלח כשיתפנה מקום. יש למה לצפות!

סרטון הדגמה של כלי הAI

קישור לג'יסטור (לקהילת אוניברסיטת תל-אביב)

 

איסוף ואיתור מידע באוקיינוס הביג דאטה ללא תכנות (No-Code) – הרצאה של ד"ר גל יעבץ

הפוסט מבוסס על ההרצאה המרתקת של ד"ר גיל יעבץ מאוניברסיטת בר אילן, איסוף ואיתור מידע באוקיינוס הביג דאטה ללא תכנות (No-Code).

ההרצאה, שהתקיימה בזום ב5/7/22, היא הראשונה מתוך סדרת המיטאפים "מומנטום: מידע בתנועה" יוזמה משותפת של המחלקה למדעי מידע באוניברסיטת בר אילן עם הוועדה המתמדת של מנהלי הספריות האוניברסיטאיות.

כולנו מייצרים מידע בכל רגע נתון. כשאנחנו מחפשים ב- Google, כשאנחנו עורכים קניות בסופר, כשאנחנו מאזינים למוזיקה, מידע ונתונים על ההתנהגויות שלנו נאספים וניתן להפיק מהם תובנות משמעותיות. בהרצאה הוצגו מספר כלים מרכזיים ושימושיים שיכולים לסייע לנו, כמידענים ואנשים סקרנים, להגיע למסקנות מתוך נתונים שונים בדרך קלה ואפקטיבית.

נעבור על כלים אלו כאן בהרחבה: חיפוש שאלות, מגמות וטרנדים בהתבסס על מסדי הנתונים של Google, חיפוש דאטה ונתונים ממשלתיים מ-Dataset, ניתוח טקסטים ואימוג'ים מ-Twitter, ניתוח מוזיקה מ-Spotify, וגם – איך לייצר של רשת מאמרים אקדמיים  דרך Connected Papers.

כל הכלים הם חינמיים.

שאלות, מגמות וטרנדים דרך מסדי הנתונים של Google:

Answer the public, Trendy ו-Google Trends.

Answer the public כלי המאפשר לראות מה אנשים שואלים. הרבה מהחיפושים בגוגל הם לא רק מילה או נושא מסוים, אלא חיפושים הרבה יותר פרסונליים כמו "מהן שעות הפעילות של הספרייה?" "היכן אוכלים באוניברסיטת תל אביב?". וכך, הכלי מאפשר לחפש מילה או ביטוי בכל השפות, לסנן לפי מקום גאוגרפי ולראות מה נשאל בהקשר שלו במנוע החיפוש. למשל חיפוש המילה librarians מראה לנו מה אנשים שואלים על ספרנים.

הנתונים מוצגים באמצעות ויזואליזציה מרשימה של גלגל ענק, חלוקה לפי מילות שאלה ובהמשך לפי מילות יחס, חלוקה אלפביתית והקשרים נפוצים.

חיפוש Librarians  ב- Answer the Public

בין התוצאות אפשר למצוא תהיות פילוסופיות והתחבטויות מקצועיות כמו, לצד שאלות על סדרת טלוויזיה ושלל פנינים נוספות:

?Librarians what is it? Why librarians are important? Librarians what they do

?Librarian or farmer? Why librarians wear cardigans

אפשר לשנות את הוויזואליזציה לתצוגה טבלאית ולהוריד את המידע לקובץ CSV.

זהו כלי המהווה קו ישיר לדעת הקהל ולכן מועיל לכל העוסקים בקידום אתרים. למשל, אפשר להיעזר בו כדי לבחור כותרת אטרקטיבית לפוסט בבלוג או כדי להבין על מה כדאי לשים את הדגש בבניית אתר אינטרנט. מעניין גם לבחון דרכו הבדלים תרבותיים בין מדינה למדינה, דרך ניסוחי השאלות השונים העולים ממנו.

*יש הגבלה על מספר החיפושים החינמיים שאפשר לעשות ביום.

Trendy כלי נוסף המבוסס על מסד הנתונים של google, מאפשר לראות חיפושים פופולאריים מהיומיים האחרונים, על מה אנשים מדברים הכי הרבה בעולם או באזור מסוים. מדובר למעשה בנושאים שחלה עלייה בכמות החיפושים שלהם, דרך טובה להבין על מה מדובר בגוגל רגע נתון ואולי להחליף צפייה בחדשות.

הנתונים מוצגים באמצעות בועות כחולות, לחיצה על כל אחת מהבועות תוביל לכתבה רלוונטית לנושא שחיפשנו. אם הבועה גדולה במיוחד סימן שגם העלייה בכמות החיפושים הייתה משמעותית.

*תוצאות החיפוש ב- Trendy  מה- 19.7.2022

Google trends זהו הכלי המוכר מהבין שלושת כלי גוגל שהוזכרו בהרצאה (ואפילו הוזכר בניוזלטר הראשון שלנו). למרות שרבים מכירים אותו, לא רבים מודעים לשלל היכולות המתקדמות שלו. גם פה אפשר כמובן לחפש בשפות שונות ובאזורים שונים בעולם ובטווחי זמן מגוונים: שעה / יום / שנה / 5 שנים / זמן מותאם אישית ועוד… ולהשוות בין ערכים שונים.

 

לדוגמא: חיפוש ספריית סוראסקי בשנה האחרונה. אפשר לראות שיש עלייה בחיפושים בתקופות מסוימות כמו תחילת סמסטר ואפילו עליה מסוימת בקיץ וירידה בתקופות אחרות כמו חופשת הסמסטר.

דוגמה נוספת: עלייה בפופולאריות של המילה פיסטוק בשנה האחרונה

 

אם מסתכלים על טווח של חמש שנים זה אפילו מובהק עוד יותר…האם מדובר במגמה חשובה או טרנד חולף? בשביל זה צריך להמשיך לעקוב.

בנוסף, ניתן לערוך השוואות שונות באמצעות מפות: איפה מתעניינים בגביע העולם בכדורגל? היכן עומדת לפרוץ שפעת? את מי חיפשו במדינות ארצות הברית השונות בשבוע האחרון יותר – נתניהו או לפיד?

Page Views כלי משלים לשלושת כלי גוגל שנסקרו לעיל. הוא שייך לוויקיפדיה ונותן מידע על צפייה בערכים ספציפיים לאורך זמן, תוך אפשרות לעריכת השוואות שונות. אפשר גם להתייחס לטווח תאריכים ספציפי ולהתייחס להבדלים לפי ימים או לפי חודשים (שימו לב, כשנכנסים לאתר הוא באופן אוטומטי מראה לנו השוואה בין המונחים Cat ו- (Dog.

דרך נוספת להגיע לנתוני הצפייה היא מדפי הערכים עצמם. בוחרים ב-'מידע על הדף' תחת כלים באפשרויות המופיעות בצד ימין של הערך ולאחר מכן לוחצים על 'קישור לגרף סטטיסטיקת צפייה באתר  ‘wmflabs

 

הספרייה המרכזית ע"ש סוראסקי  גם כאן בחיפוש לפי חודשים, ניתן לראות שחודשי החיפוש המובילים במהלך השנה האחרונה היו אוקטובר ואפריל והפחות פופולריים היו ספטמבר ופברואר, בהתאם לזמני פתיחת שנת הלימודים וחופשות הסמסטר והקיץ.

 

זהו כלי פשוט מאוד לשימוש, המראה לנו עד כמה וויקיפדיה הפכה להיות כוח מוביל בכל הקשור למשאבי ידע.

מידע נוסף על טרנדים אפשר למצוא גם דרך Twitter, עם הכניסה לאתר בצד ימין נמצא את כפתור Trends for you,  דרכו נוכל לצפות בכל החיפושים המובילים באזור ברגע זה.

דאטה ונתונים

Dataset Search – כלי נוסף מבית גוגל, אך מעט שונה ממה שראינו עד עכשיו. זהו מעין מאגר מידע של נתונים המבוסס על מסדי נתונים של רשויות ממשלתיות וגורמים ציבוריים. בעזרתו ניתן להגיע למידע שיכול להיות רלוונטי לחוקרים ומדענים על משרדי ממשלה, שווקים ומדיניות.

הכלי מאפשר לחפש מידע מאוד ספציפי בעזרת שאילתות מורכבות, כמו – מה היו מותגי הקפה המובילים בספרד ב- 2020? מי שינסה למצוא את התשובה דרך מנוע החיפוש הרגיל של Google  ילך לאיבוד בתוך בליל של תוצאות לא בהכרח רלוונטיות. דרך Dataset אפשר לקבל את התשובה באמצעות חיפוש  בסיסי ופשוט.

המאגר מאפשר סינונים כמו: צפייה רק בנתונים חינמיים ובחירת סוג המסמך (תמונה, טקסט, טבלה). אפשר לראות גם מי הוא הספק של הנתונים ולהוריד קבצי Excel.

בינתיים המאגר עובד פחות טוב בעברית מכיוון שאין מספיק הנגשה של מסמכים ונתונים רשמיים בארץ. ארגונים כמו 'שקוף', 'התנועה לחופש המידע' ו'ישראל דיגיטלית' פועלים לפרסום הנתונים, לצד אינדוקס מסוים מ- Data.gov , אבל המאמצים הללו עדיין אינם מספקים.

עוד על המאגר מתוך גיקטיים ו- עולם המידע.

כלים מבוססי Twitter

Vicinitas – כלי לניתוח מידע מ-,Twitter שהיה עד לא מזמן אתר נישתי של עיתונאים. הוא קטן בהשוואה לרשתות חברתיות אחרות, אך ממשיך לצמוח ולגדול כל הזמן וניתן למצוא בו מידע ושיח שניתן להסיק מהם תובנות מעניינות. לכלי יש גרסה חינמית וגרסה בתשלום, הדרישה היחידה היא להיות מחוברים ל-Twitter. אפשר לחפש מידע על תגיות או מילות מפתח מובילות, על משתמשים או עוקבים מסוימים, למשל מי עוקב דמות ספציפית. ניתן גם לראות את כל הציטוטים בנושא מסוים (בגרסה החינמית עד 2000 ציוצים מעשרת הימים האחרונים). השימוש בכלי פשוט ואינטואיטיבי.

גם פה חיפשתי את המילה פיסטוק וקיבלתי 533 תוצאות. ניתן לייבא את הנתונים לקובץ Excel ולראות את הציוץ המלא, מי המשתמש?, מתי?, מי עשה לו ריטוויט? ואפשרויות נוספות כמו לארגן את הציטוטים לפי מספר הלייקים.

בשל עומס הנתונים, ד"ר יעבץ ממליץ להיעזר בכלי נוסף ששמו Voyant. זהו כלי לניתוח טקסט מעולם מדעי הרוח הדיגיטליים שתורגם לעברית על ידי ד"ר סיני רוסניק מאוניברסיטת חיפה, המאפשר לנתח כמויות גדולות מאוד של טקסט בצורה אוטומטית. דרכו ניתן לראות מילים נוספות החוזרות על עצמן בציוצים, לאתר ציוצים מובילים וליצור ניתוחי טקסט שונים.

Emojitracker – כלי חביב העוסק בניטור אימוג'ים בזמן אמת ב- Twitter. דרכו אפשר לראות כל אימוג'י שעושים בו שימוש ברגע נתון. ככה זה נראה :

 

*Emojitracker בזמן אמת

אם בוחרים את אחד האימוג'ים – אפשר לראות את הציוצים שנכתבים אתו כרגע, הסבר על המשמעות שלו ואת מיקומו במדרג הפופולאריות. זהו כלי קצת פחות שימושי מבחינה מידענית, אבל הוא נותן אינדיקציה למה פופולארי ברגע זה ומהו הלוך הרוחות הציבורי.

מוזיקה ורשתות

ניתוח האזנה למוסיקה (spotify) – כל פעולה שלנו משאירה סימן בעולם הנתונים, וכך גם האזנה למוסיקה של האומן או הלהקה האהובים עלינו. גם במימד הזה נוכל להיעזר בכלים שונים להפקת תובנות, כמו בכלי שמתייחס להאזנה ב-spotify ועל סמך נתונים יוצר ניתוח רשתות של קשרים ומשרטט יחסי גומלין בין אומנים ולהקות בהתאם לאנשים המאזינים להם.

לדוגמא: חיפוש של עומר אדם מראה את הקרבה שלו לאומנים אחרים כמו עדן בן-זקן, עדן חסון וסטטיק ובן-אל בהתאם להעדפות הקהל. ככל שהעיגול יותר גדול מדובר באומן שיש לו יותר מאזינים ברשת. באמצעות הוויזואלזציות הללו ניתן לזקק תובנות ומסקנות על העדפות האזנה, את מי שומעים ואת מי פחות שומעים וכדומה. ניתן להוריד את הניתוחים כקובץ JDF.

 

*ניתוח האזנה ל- עומר אדם דרך Spotify

רשתות באקדמיה

Connected Papers – ונסיים עם כלי המתאים לעולם האקדמיה. זהו פיתוח ישראלי של תלמידי מחקר המבוסס על הרעיון שכל פריט אקדמי הוא חלק מרשת: אפשר לראות את מי הוא מצטט, מי מצטט אותו ומה הקשרים בין כל הגורמים הללו. כל פריט הוא חלק ברשת של ידע אקדמי, כשאפשר גם לראות את מי כמעט ולא מצטטים והוא נשאר כעיגול מבודד. ד"ר יעבץ מלמד את הכלי יחד עם Scopus  ו- Web of science  וממליץ עליו כדרך נוספת למצוא מאמרים דומים כשנקודת המוצא היא מאמר רלוונטי בודד. את הנתונים המתקבלים ניתן להוריד כטבלה ולבצע עליהם ניתוחים סטטיסטיים.

*דוגמא לרשת הקשרים של המאמר Informational Justice: A Conceptual Framework for Social Justice in Library and Information Services  מתוך Connected Papers

 

Semantic Scholar מנוע חיפוש מדעי חדש

 

ב- 2 בנובמבר 2015  הושק מנוע החיפוש המדעי Semantic Scholar של  Allen Institute  for Artificial Intelligence  שב. Seattle.

מדען המחשב אורן עציוני בעל היסטוריה מרשימה בתחום כלי החיפוש עומד מאחורי המנוע .

מנוע החיפוש קורא, מתמצת ומסווג ממצאים מ-2 מיליון מאמרים מדעיים שמתפרסמים מדי שנה. למעלה ממחצית מסמכים אלה מעולם לא נקראו על ידי יותר מ- 3 אנשים. המערכת סורקת מאמרים מדעיים  בווב  , מזהה ציטוטים והפניות   בטקסט  וממפתחת את הסטים של  הנתונים ושיטות המחקר שבהם נעשה שימוש

תוצאות החיפוש כוללות גם תקציר ומספר ציטוטים בשלב. אפשר לעדן את השאילתה על פי  מספר פרמטרים כולל סטים של נתונים, מחבר, מילות מפתח ותאריך.  בשלב זה  מנוע החיפוש מתמקד במדעי המחשב . בעתיד הכוונה להרחיב את החיפוש בתחומים נוספים: כולל ביולוגיה, פיסיקה ושאר מדעים..

המטרה לסייע לאנשי מדע ולתת בידם כלי לניתוח המצב בתחום המחקר שלהם בדרך קלה יותר כולל תמיכה בשאילתות בשפה טבעית . כדברי אורן עציוני:

“Our vision is of a scientist’s apprentice, giving researchers a very powerful way to analyse what’s going on in their field,” says Oren Etzioni, director of AI2. “If you’re a medical researcher, you could ask ‘what’s the latest on these drug interactions?’ Or even a query in natural language like, ‘what are papers saying about middle-aged women with diabetes and this particular drug?'”

לכתבה בנושא

למנוע החיפוש

וידיאו ואודיו – טכנולוגיות וכלי חיפוש ייעודיים

בכל דקה כ- 300 שעות של תכני וידיאו חדשים  מועלים ליוטיוב. למרות זאת הרבה חברות עדיין  משתמשות בטכנולוגית אחזור שמושתתת  על תארנים טקסטואלים   –  hashtags, כותרים  וכו'

Dextro  השיקה לאחרונה פלטפורמת חיפוש חדשה לחיפוש וידיאו מסוג שונהDextro   משתמשת באלגוריתם  שמזהה את האלמנטים האודיו-ויזואליים של הוידיאו עצמו  באופן זה הוידיאו עצמו הוא בר חיפוש. MIC  –  אתר חדשות חָבַר ל- Dexto ומשתמש בפלטפורמה שנקראת Sight Sound & Motion – SSM    כדי לאתר קובצי וידיאו חדשותיים בזמן אמת, שאחרת יקשה לאתרם.

פלטפורמת  חיפוש ייעודית זו לוידיאו מצטרפת  למנועי חיפוש ותיקים יותר ולכלים נוספים בשלבי פיתוח טכנולוגי.

בכתבה שהתפרסמה ב- 4 באוקטובר 2015 אפשר למצוא מידע על טכנולוגיות  מתפתחות בתחום ורשימה של מנועי חיפוש ייעודיים כאלה ביניהם  :

מידע נוסף על טכנולוגיות וכלים בכתבה

IDMARCH ו-Hulbee – מנועי חיפוש אלטרנטיביים

IDMARCH        הוא מנוע חיפוש למסמכי PDF  .  על פי מה שמוצהר באתר הוא כולל למעלה מ- 18 מיליון מסמכי PDF   .  המנוע מחלץ מידע-על סמנטי מהמסמכים. מלות מפתח שמתארות את המסמך מוצגות  ליד כול אחת מתוצאות החיפוש  ולחיצה על כול אחת ממילות מפתח אלה מובילה למסמכים רלוונטיים בנושא. באופן זה אפשר לדפדף ולהגיע למידע רלוונטי נוסף.

Hulbee  –  מנוע חיפוש חדש משוויץ שמצהיר אף הוא על שימוש בטכנולוגיה סמנטית ומבטיח לשמור על פרטיות. מאפשר בחירה של ארצות כדי לאפשר תוצאות מותאמות יותר למקום ולשיפור הרלוונטיות של התוצאות.  אפשר להגביל מראש את החיפוש לדפי  ווב, לתמונות, וידאו , מוסיקה ושופינג .

כולל מנשק ויזואלי מזמין של תוצאות החיפוש. בצד השמאלי של המסך מוצגות מילות מפתח בצורת ענן שמתארות אספקטים/מקורות  שונים של תוצאות החיפוש. אפשר להגביל את תוצאות החיפוש בהתאם על ידי בחירה של מילת מפתח אחת או יותר. .

 

מחשב העל IBM Watson – מחשוב קוגניטיבי וחווית המשתמש

מחשב העל של   Watson, IBM משתמש בטכנולוגיה של מחשוב אנליטי,  "מבין"  את המידע מנתחו באופן דומה לחשיבה האנושית  ומגיע לתובנות.

אחד מהשירותים שלו הוא personality insights  שמבוסס על  יכולתו לנתח מאפייני אישיות של אדם מסוים על פי טקסט,  כמובן במגבלות מסוימות .  כול תכונה שהוא מנתח מדווחת באחוזים וטעות דגימה . טעות הדגימה קטנה יותר כאשר מזינים יותר טקסט. דרושים לפחות 3500 מלים כדי לקבל תוצאות משמעותיות

על המדע מאחורי שירות זה ומגבלותיו של השירות אפשר לקרוא בכתבה  the science behind the personality insights service.
IBM פתחה מודלים שמתבססים על המחקר בתחומי הפסיכולוגיה, הפסיכולינגוויסטיקה והשיווק,  בין היתר על מחקרים שמצאו שדפוסי שימוש במדיה חברתית יכולים לנבא התנהגות והעדפות.

שירות נוסף חדש מעניין של ניתוח והמחשה הוא ה- news explorer אשר מחלץ מידע סמנטי ומציג מידע עדכני בצורה ויזואלית.

שירותים נוספים אפשר למצוא באתר IBM Watson Developer Cloud

 

מנועי חיפוש ייעודיים לוידיאו

guYoutube   וגוגל  הם כנראה עדיין המקורות הטובים ביותר לחיפוש וידיאו  אבל קיימים גם מקורות נוספים.

בכתבה מעודכנת  מ- 22 ביולי 2015 אפשר למצוא רשימה מוארת של מנועי חיפוש ייעודיים  נוספים לוידיאו וגם קישור לכתבה ובה  טיפים לחיפוש ב- youtube  .על הרשימה נמנים  מנועי חיפוש הבאים:

 
Yahoo Screen
–  מנוע חיפוש שמתמקד בתכני הוידיאו  שלו כמקור עיקרי למאגר.


Bing Video  –  מחפש בהרבה אתרי וידיאו ברשת.y7


AOL Video
  –  כבינג מחפש בהרבה אתרי וידיאו .


eHOW
– מאגר מידע מצומצם יותר, ייחודו  מתמקד בתכני  " how-to" .


MeFeedia.com
  –
מנוע ותיק, מאפשר חיפוש, דפדוף והעלאת תכנים.  

 
Blinkx – אף הוא מנוע  ותיק, עיקר תוצאות החיפוש מ- youtube .


Veoh
– מחפש בעיקר בתכנים שלו.

מלבד מנועי  חיפוש אלה ייעודיים לוידיאו ישנם למעלה מ- 300 אתרים לשיתוף וידיאו.    ומי שמעוניין לחפש את היוצרים יוכל לעשות זאת דרך מנוע החיפוש tubular creator profiles

לכתבה

האינטרנט של הדברים – מנוע החיפוש Shodan ומקורות מידע נוספים

האינטרנט של הדברים, בו "דברים" מחוברים לרשת  בדרך כלל בחיבור אלחוטי כשבהם מותקנים חיישנים שונים שאוספים מידע , מידע שיכול להיצבר במאגרי מידע ברשת,  מתפתח.   על פי  research    ABI מספר ההתקנים המחוברים בחיבור אלחוטי לרשת האינטרנט יהיה למעלה מפי 2 ממספר ההתקנים היום,  ויגיע ל- 40.9 מיליארד בשנת 2020 .

Shodan  הוא מנוע חיפוש לאינטרנט של הדברים.  כשם שמנוע חיפוש כללי סטנדרטי, דוגמת גוגל,  סורק את הווב בחיפושו אחר דפי ווב , Shodan  מנווט בווב ומחפש שרתים, מצלמות, מדפסות , פלאפונים סלולריים, מערכות בקרה , נתבים ודברים נוספים שמחוברים לרשת האינטרנט  וצובר מידע על ההתקנים המחוברים והשירותים שלהם. בעוד שגוגל מתמקד במידע  המועבר Shodan מתמקד במידע-על  במכשירים ובתוכנה  – הוא צובר מידע על מכשירים , המיקום המדויק שלהם ומערכות התוכנה שמפעילות אותם.

מאפשר יצירת דוחות, דוגמה לדוח  נמצאת באתר  . כמו כן באתר של המנוע אפשר להוריד רכיבי תוכנה (plugins ) לדפדפני כרום ופיירפוקס שמאפשרים , על פי מה שמצוין באתר,  לראות את המידע שיש ל- shodan על האתרים בהם מבקר המשתמש כולל אלו שירותים הם מריצים .

מנוע החיפוש יכול לשמש למטרות טובות ומקצועיות וגם למודיעין עסקי אבל בה בעת שימוש לרעה במידע שמספק מנוע החיפוש במיוחד גישה להתקני בקרה לא מאובטחים  עלול להיות מסוכן ובעייתי. באתר יש קישורים לכתבות על המנוע ששופכות אור על נושא זה.

מנוע החיפוש נוסף לאחרונה לרשימה ארוכה של מקורות מידע בנושא האינטרנט של הדברים של  Marcus P. Zillman .

 

מנוע גנאלוגי חדש – Top 100 Genealogy Sites Mega-Search

Top 100 Genealogy Sites Mega-Search הוא מנוע מותאם אישית של גוגל  שכולל באינדקס שלו את Top 100 Genealogy Websites of 2015 של Genealogy InTime Magazine.  מן הראוי לציין שהקריטריונים לבחירתם של  100 אתרים אלו כפופולריים ביותר היו  מקומם ב- Alexa לצד 3 מדדים נוספים – מספר המבקרים באתר, משך זמן הביקור באתר וכמות התכנים שנצרכה.

מנוע החיפוש חופשי והוא כולל  2 אופציות חיפוש – האחת Full 100 Mega Search חיפוש בכל 100 האתרים – אופציה זו כוללת גם חיפוש באתרים שאינם חופשיים   והאופציה השנייה היא “Free” 46 Mega Search שמאפשרת חיפוש רק באתרים החופשיים. האופציה השנייה החופשית מומלצת.

Genalogy in Time 2015 Top Mega-Search Engine-

Genealogy in Time's 46 Free of Top 100 Mega-Search Engine

חיפוש מידע רפואי בגוגל וגרף הידע

היום כאשר מחפשים בגוגל מצב רפואי מסוים מקבלים מידע אודות, סימפטומים וטיפול,  לעתים המידע מלווה גם באילוסטרציה.   המידע לקוח מגרף הידע של גוגל , היום המידע זמין למצבים רפואיים שכיחים וגוגל ממשיכה  להגדיל את כמות המצבים הרפואיים. דוגמה לערך כזה אפשר לראות בתוצאות החיפוש בדף   https://www.google.com/search?q=concussion

על פי מה שכתוב בדף העזרה של גוגל  בנושא מידע רפואי זה  הוא תוצאה של קומבינציה של אלגוריתמים ואנשי מקצוע ברפואה . בשלב ראשון האלגוריתמים של גוגל מאתרים ומנתחים מידע רפואי מאתרים איכותיים בווב. לאחר מכן צוותות של רופאים בגוגל ומ- Mayo Clinic סוקרים ובודקים בזהירות את המידע הטקסטואלי והגרפי.

יש לציין שהחיפושים נשמרים בהיסטורית החיפושים של המשתמש אם הוא במצב של כניסה לחשבון וניתנים למחיקה מההיסטוריה של המשתמש בכול עת .

העובדה ש- 1 מתוך 20 חיפושים בגוגל הוא למטרות רפואיות  וחשוב לקבל מידע מהיר ואמין עמדה אף היא מאחורי יזמה חדשה זו של גוגל.

גוגל בפוסט הרשמי שלה מ- 10 בפברואר 2015 מציינת  שמידע רפואי בסיסי זה כמובן אינו מייתר התייעצות עם רופא אך הוא מאפשר למשתמש לאתר ביתר קלות מידע נוסף ממקורות אחרים אמינים ולדעת איזה שאלות להפנות לרופא.

מידע רפואי זה שגוגל מציג הוא במסגרת המאמצים של גוגל להגיע לתשובות ישירות לשאלות בתוצאות החיפוש  ופיתוח פטנטים לצורך כך.

מנוע החיפוש Blekko נסגר

בדצמבר 2010   כתבתי פוסט על מנוע החיפוש Blekko   והטכנולוגיה הייחודית שלו לפילוח הווב תוך שימוש ב-Slashtags  שמאפשרים למשתמש למקד את החיפוש על ידי שימוש בהגבלות מסוימות בהתאם למה שמופיע אחרי ה- /

בשנים  20122013 ו- 2014 הוא נמנה על מנעי החיפוש הפופולריים יותר על פי דרוג eBizMBA

ב- 27  במרץ 2015  המנוע נסגר וטכנולוגיה מסוימת שלו נרכשה  על ידי  IBM Watson – טכנולוגיה שתוארה כמתקדמת :

Blekko brings advanced Web-crawling," categorization and intelligent filtering technology.  Its technology crawls the Web continually and  gathers information from the most highly relevant and most credible Web pages. It uses classification techniques to create thousands of "topical categories, making that data more useful and insightful

ובאופן מטפורי:

Blekko’s technologies are like oil exploration and production teams that locate the" "high-quality oil, drill, and deliver it to the refinery.

סגירת המנוע הוא הפסד למשתמשיו  . נקווה שהטכנולוגיה שלו תתרום לתחום ה- big data  כפי שצופים ב- IBM Watson .

לכתבה בנושא

הודעה IBM Watson  על הרכישה

LouisvilleLectures.org ו- FOAMED – השכלה רפואית בגישה פתוחה

הפקולטה לרפואה באוניברסיטת  Louisville   השיקה את מה שהיא מאמינה שתהיה הקהילה המקוונת בגישה פתוחה הראשונה בארה"ב להוראת הרפואה הפנימית.

LouisvilleLectures.org מספקת סדרת הרצאות ברפואה פנימית שזמינות לכול.   המרצים הם אנשי סגל מהפקולטה לרפואה של האוניברסיטה.

למעלה מ- 40 הרצאות נמצאות כבר בצורה מקוונת עם למעלה מ- 25000 צפיות מ- 100 ארצות.

הפרויקט  הוא חלק מהתנועה הבינלאומית  FOAMED –   Free Open Access Meducation – Medical education for anyone, anywhere, anytime  שמטרתה לקדם את שיתוף המידע הרפואי.

באתר של התנועה יש   קישורים  ל-  GoogleFOAM – מנוע חיפוש ייעודי שמחפש במקורות מידע של  FOAM,  וקישור ל-    FOAM Guidelines – מאגר קישורים ל- guidelines  קליניים מקוונים .

לאתר  סדרת ההרצאות ברפואה פנימית

לאתר התנועה FOAM

Tangent מנוע מתמטי ייעודי

במנועי חיפוש המסורתיים חיפוש מסמכים בהם מופיעים ביטויים מתמטיים ונוסחאות הוא לא יעיל. לאחרונה חוקרים  ב-  Rochester Institute of Technology   פתחו מנוע חיפוש מתמטי ייעודי   -Tangent      שמסוגל לעשות זאת .

.השאילתות במנוע חיפוש זה הם ביטויים מתמטיים  ומנוע החיפוש מאחזר  מסמכים בהם ניתן  למצוא ביטויים מתמטיים. אתר דמונסטרציה של המנוע נמצא בכתובת  http://saskatoon.cs.rit.edu/tangent/random

את הנוסחאות אפשר להזין בתיבת החיפוש בשפת Latex   או על ידי רישום הנוסחאות עצמן.

האינדקס של המנוע כולל הרבה אוספים ובתוכם גם Wikipedia וחלק מאוסף המאמרים במאגר החופשי arXiv . המנוע כמנועי החיפוש המסורתיים משתמש לאחסון הנתונים בקובץ מהופך אלא שהמידע המאוחסן בו שונה

פירוט נוסף על אופן פעילותו של מנוע החיפוש ומידע נוסף ניתן למצוא בכתבה המלאה

לאתר הדמונסטרציה של המנוע

Agriprofiles וניצול הפוטנציאל של VIVO בתחום החקלאות

Vivo הוא יישום וובי סמנטי חופשי בקוד פתוח שמאפשר גילוי ידע מחקרי ברמת המוסד ומעבר לו. היישום פותח כבר ב- 2003  על ידי אוניברסיטת קורנל. . היישום מספק מידע מקושר באמצעות RDF     ובכך הופך את המשתתפים בו לחלק מהווב הסמנטי.

רשת VIVO      בווב היא  רשת לאומית בה משתתפים מוסדות  בעלי התקנה מקומית של VIVO    או בעלי יישומים עם יכולת  לספק מידע סמנטי . כיום חברים בה 7 מוסדות  בארה"ב  והיא פתוחה למוסדות נוספים שירצו להצטרף..

לאחרונה נעשה ניסיון לנצל את הפוטנציאל של vivo  לסקטור המחקר בתחום החקלאות . ניסיון  זה הוליד את Agriprofiles – כלי לגילוי ידע  בתחום החקלאות

למידע נוסף

גוגל וטוויטר – חידוש ההסכם?

מנועי החיפוש  בינג   ויאהו  נהנים מהסכם עם טוויטר על הכללת מידע מטוויטר בזמן אמת בתוצאות החיפוש  שלהם. לגוגל היה הסכם  דומה עם טוויטר  מאז 2009  אבל ההסכם לא חודש ב- 2011.

על פי דיווח מבלומברג שתי החברות  גוגל וטוויטר הגיעו להסכם לחדש את הכללתו אוטומטית של מידע בזמן אמת מטוויטר בתוצאות החיפוש של גוגל  במחצית הראשונה של השנה.יש לציין שטוויטר סרבה להתייחס לנושא

שיתוף פעולה זה ישחרר את גוגל מהצורך לסרוק את שירותי טוייטר כדי לכלול ציוצים באינדקס – תהליך  שגוזל זמן. ההסכם החדש יאפשר את נראות הציוצים בתוצאות החיפוש  של גוגל מיד לאחר שנכתבו בטוויטר.

העסקה  תהיה חיובית לטוויטר אבל עלולות  להיות לה השלכות שליליות על הרשת החברתית של גוגל – גוגל +.   ישנן פרשנויות שחידוש ההסכם מהווה הנמכת הילוך מצד גוגל ביחס לגוגל פלוס

לכתבה  בנושא

40 מנועי חיפוש נבחרים לסטודנטים

באינטרנט  יש  שפע של מנועי חיפוש למטרות שונות  ומסוגים שונים- מנועי אינדקס, מנועי על ומנועי חיפוש ייעודיים

בכתבה ב- 20 שהתפרסמה  ב- Learnu בינואר 2015 יש  רשימה של 40 מנועי חיפוש שמוגדרים כמיועדים לסטודנטים. מנועי החיפוש ברשימה מסווגים  לקטגוריות הבאות:  מנועי חיפוש אקדמיים, מנועי על , מנועי חיפוש לקובצי מדיה (תמונות ווידיאו)  ומנועי חיפוש חברתיים.

רבים ממנועי החיפוש ברשימה בוודאי מוכרים . מבין מנועי העל כדאי לציין  את מנוע החיפוש info.com אשר  משלב  בתוצאות החיפוש שלו  תוצאות ממנועי חיפוש המובילים כולל –  Google, yahoo, Bing, Yandex, Ask, Open Directory   . מאחר ואין חפיפה גדולה בין תוצאות החיפוש של מנועי החיפוש יש בחיפוש זה יתרון. אפשר להגביל   את תוצאות החיפוש לתמונות, חדשות  ועוד.

כפי שמצוין באתר למנוע  יש לו גם תוספי תוכנה _ (plugins)למספר דפדפנים.

מנוע על נוסף שיכול להקל את מלאכת החיפוש הוא  MsFreckles .

כדאי לזכור גם את מנוע החיפוש לחיפוש חומרים בגישה פתוחה ממאגרי מידע מוסדיים base .

לרשימת מנועי החיפוש

DuckDuckGo – גידול ניכר בשימוש ב- 2014

מנוע החיפוש DuckDuckGo מתאפיין בכך  שהוא שומר על הפרטיות של המשתמש. הוא אינו משתף שאילתות של המשתמשים עם אתרים אחרים, אינו שומר היסטוריה של חיפושים ואינו שומר מידע  שקשור למקום/ מחשב  של המשתמש – כפי שעושים מנועי חיפוש אחרים כדי  להגדיל את מאמצי הפרסום שלהם.

נתונים סטטיסטיים  השנה מורים על  גידול ניכר במספר המשתמשים שלו. בסוף 2014  נרשמו  כ- 7 מיליון  שאילתות ישירות ביום .  הגידול ניכר בעיקר בסוף השנה  ואחראים בחברה מייחסים זאת  להוספתו כאופצית חיפוש  בדפדפנים של  Apple  ו- Mozilla.  בספטמבר  Apple  הטמיעה את  DuckDuckGO   כאופצית חיפוש בדפדפן   Safari  ( גוגל הוא עדיין ברירת המחדל)  . בנובמבר  Mozilla הוסיפה את DuckDuckGo לדפדפן  Firefox.

נתוני  השימוש ב- DuckDuckGO   מלמדים שצעדים אלה תרמו לגידול.  בעוד שב-8 החודשים הראשונים של שנת 2014  שיעור  הגידול  הממוצע החודשי היה 3.5%  בארבעת החודשים האחרונים של השנה קצב הגידול  היה 10.2%   – כמעט פי 3.

יש להניח גם שהגידול בשימוש ב- DuckDuckGO   מלמד על המודעות הגוברת בקרב משתמשים לבעית הפרטיות במרשתת.

מידע נוסף בכתבה בנושא

גוגל – תחזיות ל- 2015

בשנת 2014  מנוע החיפוש גוגל המשיך להיות דומיננטי בשוק החיפוש ותפס  67% משוק החיפוש על מחשבים שולחניים בארה"ב

אך לגבי העתיד על פי דברי CEO   Larry Page  החברה  מתכוונת להרחיב את פעילותה מעבר לשוק החיפוש.

על פי תחזיות גוגל תרחיב את פעילותה ב-4 תחומים נוספים:

  • גרסה צרכנית של  Google Glass. לא ברור מה המוצר יציע מעבר לשלב  ה"אב טיפוס" . צופים לירידה במחירו של המוצר.
  • השקעותיה של גוגל  ב-   YouTube גדולות. צופים שגוגל תעשה עסקאות עם  חברות פרסום כדי להביא את תקציבי הפרסום שלהן ל- Youtube.
  • חברת גוגל תעשה צעדים להרחיב את שוק מערכת ההפעלה אנדרואיד שתופסת כבר היום 80% מהסמרטפונים בעולם על ידי פיתוח גרסאות מתקדמות  וגם צעדים בכיוון מכשירים לבישים נתמכי אנדרואיד.
  • כמו כן צופים המשך חקירות חוסר אמון כלפי החברה באירופה. למרות שגוגל  ממקדת מאמצים בתחומי עסקים חדשים החיפוש הוא עדיין מקור לחמה של החברה   והדומיננטיות של החברה בתחום זה תמשיך להיות כרוכה ב"כאבי ראש"  של חקירות חוסר אמון.  בין הטענות שהושמעו כנגדה בעבר היו מתן עדיפות       בתוצאות החיפוש   לפלטפורמות שלה כגון   -Youtube  – Google+    על פני פלטפורמות מתחרות, נושא "הזכות להישכח"  –  זכות שמתירה לאנשים לבקש ששמם לא יופיע בתוצאות החיפוש אם התכנים לא רלוונטיים או לא עדכניים.  כול אלה מעידים על חשדות נרחבות בגוגל באירופה  שצופים שתמשכנה.

לכתבה בנושא

PEARLTREE של מנועי חיפוש – למעלה מ-200 מנועי חיפוש מאורגנים על פי פונקציונאליות

ברשת יש  מגוון עצום של מנועי חיפוש למטרות שונות וקשה באמת לעקוב ולזכור את כולם. אפשר לצורך כך להסתייע באתרים שמארגנים את מנועי החיפוש על פי קטגוריות/סוגים.

תצוגה ויזואלית אחת מעניינת של מנועי חיפוש על פי קטגוריות/סוגים אפשר למצוא באתר  של .   Phil BERDLEY . בתצוגה יש   למעלה מ- 200 מנועי חיפוש  על פי  מגוון קטגוריות כגון:  מנועי על , מדריכים, מנועים לחיפוש חברתי, וידאו, אודיו,  תמונות, חדשות  ועוד…

ברשימת מנועי החיפוש אפשר למצוא מנועי חיפוש מוכרים ואולי מוכרים פחות כגון:  המדריך   הנושאי  FINDELIO,  WikiWorldBook לחיפוש אנשים, Zeekly שתומך בשמירה  על הפרטיות , Findsounds לחיפוש קובצי קול ועוד ..

יש לציין שארגון מנועי החיפוש על פי קטגוריות נעשה בעזרת pearltrees שירות וובי חופשי עם אפשרות להרחבת מאפיינים נוספים בתשלום אשר מאפשר ארגון אובייקטים שונים בצורה ויזואלית

לאתר

גוגל סקולר בן 10 – ראיון עם מי שעומד מאחוריו

ב-18 בנובמבר 2014 ימלא עשור לגוגל סקולר  שהפך לכלי  פופולרי לחיפוש חומר מדעי .  על פי סקר של Nature השנה 60%  מהחוקרים הנחקרים דווחו על שימוש  בגוגל סקולר  באופן קבוע.  Nature   ערך ראיון עם מי ששותף בפיתוחו  של הכלי -Anurag Acharya . בראיון סיפר Anurag Acharya על  ההיסטוריה של גוגל סקולר וכיצד הוא רואה את עתידו.

על פי דבריו  ההצלחה של גוגל סקולר נזקפת גם לדירוג תוצאות החיפוש על פי רלוונטיות  לשאילתה ולא על פי סדר כרונולוגי כפי שהיה בזמנו המצב בשירותי חיפוש אחרים.   גוגל סקולר סורק את הטקסט המלא של מאמרי המחקר  למרות שאינו כולל את הטקסט המלא מכול המו"לים.

מבחינת המודל הכלכלי גוגל סקולר לא מניב רווחים . מטרתו העיקרית הוא לתרום לקהילה האקדמית וחברת גוגל יכולה לעשות זאת מכיוון שהשירות לא  יקר במיוחד .

מהריאיון אפשר ללמוד גם על מטרת  שירותי האקסטרה שלו – פרופיל מחברים ומנוע ההמלצות

בקשר לעתיד- היום גוגל סקולר טוב בלסייע למשתמשים למצוא את המאמרים שהם מחפשים ויכולים לתארם. הדבר הבא שגוגל  שואפת אליו הוא לספק למשתמש את המאמרים שהוא צריך אבל אינו יודע לחפש. המטרה לעזור לחוקרים להיות בזירת המחקר מבלי שיצטרכו לסרוק  מאות מאמרים.

ומעבר לאיתור מאמרים,על השאלה מה בדבר מציאת הנתונים המדעיים– השיב Anurag Achary שעדיין לא פותח מודל מתאים שיאפשר זאת

על האפשרות לפיתוח API    השיב שאין גוגל יכולה לעשות זאת מכיוון שעל פי הסכמים עם המו"לים גוגל רשאית לסרוק את המאמרים אבל לא להפיץ את המידע לאחרים.

מידע נוסף בראיון המלא