מחקר חדש שפורסם בינואר 2013 בדק את יעילותם של מנועי חיפוש ואתרי שאלות תשובות בפלטפורמות מובייל. במחקר נעשה שימוש במדד חדש שנקרא: Butler University Q&A Intelligence Index שמדד את הסבירות שמשתמש יקבל תשובה נכונה בזמן נתון לכל שאלה רנדומלית בשפה טבעית.
מתוצאות המחקר: מנוע החיפוש ChaCha הוביל באופן עקבי ברוב השאלות וזכה לציון הגבוה ביותר על פי מדד Butler University Q&A Intelligence Index . אחריו הובילו בינג ויאהו . גוגל נמצא רק במקום השישי ברשימה.
תוצאות המחקר בססו את ההשערה שפלטפורמות של שאלות ותשובות אינן יכולות להתבסס על אלגוריתם של חיפוש בלבד . תוצאות החיפוש של מנועי חיפוש חסרות הבנה סמנטית של שפה טבעית ולכן אינן יעילות לשאלות זנב ארוך שהוצגו במחקר.
כדי שפלטפורמות של שאלות ותשובות ישיגו ציון מעל 50% 60% במדד Butler University Q&A Intelligence Index יש צורך באלגוריתם שידע להפיק תועלת ממידע מובנה או שיגלה הבנה סמנטית באמצעות אינטליגנציה מלאכותית או בני אנוש.
המחקר הדגיש את חשיבות תרומתה של ההבנה הסמנטית האנושית והעובדה ש- ChaCha זכתה בציון הגבוה ביותר במדד הנבחר להערכה היא אינדיקציה שסיוע אנושי לתהליך הקשור למענה על שאלות יכול לעלות על פתרונות שמתבססות על אלגוריתמים בלבד.
סירי מקבלת רק 16.3% מעניין אם יחברו ממשק כמו של סירי למנוע חיפוש חזק כמו גוגל האם הביצועים יהיו כמו של גוגל … איפה הציון של המשקפים של גוגל שבעצם מתחרים בממשק קולי כמו של סירי כדי שנבין את ההבדלים בין ממשק קולי להקלדה של מילים