בסוכן AI שעובד עם מסמכים, הדרך המהירה ביותר להוזיל את העבודה היא חיפוש טוב יותר, לא מודל גדול יותר, וזה בדיוק מה ש-Box Content Retrieval מראה. אם הסוכן שלכם קורא חוזה שלם או PDF שלם כדי לענות על שאלה אחת, תתקנו קודם את שכבת החיפוש, כי שם יושב רוב חשבון הטוקנים.
בכנס המפתחים שלה הכריזה Box על פיצ'ר שמבוסס על מודלי ה-embedding של Nemotron מבית Nvidia. במקום שהסוכן יקרא כל מסמך, המערכת מחזירה לו רק את הקטעים הרלוונטיים ביותר. לפי Nvidia, התשובות מהירות פי 4, יש 20% פחות טעויות ו-90% פחות טוקנים. אלה מספרים של הספקית, והפיצ'ר יגיע רק ללקוחות Enterprise Advance, בתחילת השנה הבאה.
מה זה אומר לעסק קטן
מעט עסקים קטנים יקנו Box Enterprise Advance, אבל הגישה עצמה עוברת בקלות. למודלי ה-embedding של Nemotron יש משקלים פתוחים, כך שאפשר לשלב אותם בפייפליין מותאם לצד Claude: לאנדקס פעם אחת את החוזים של משרד עורכי דין, את החשבוניות של חנות או מרפאה או את מסמכי המכרז, ואז להעביר למודל רק את החלקים שהוא באמת צריך. על אותו רעיון בדיוק אני נשען בעוזר AI לביקורת ארכיון משפטי, שבו חיפוש לפי משמעות מוצא סעיפים גם כשהם מנוסחים אחרת. החלק הקשה הוא לא מודל ה-embedding. Box נשענת על המטא-דאטה ועל בקרת ההרשאות שכבר קיימות אצלה, והשכבה הזאת היא העבודה האמיתית בכל אב-טיפוס.
למה זה חשוב: לפני שעוברים למודל חכם יותר, כדאי לבדוק כמה טוקנים הסוכן שלכם מבזבז על קריאת טקסט לא רלוונטי. חלוקה לקטעים, תיוג וחוקי גישה הם בדרך כלל המקום הראשון לחסוך בו כסף.
מקור: TechCrunch