שלב 1: אפיון
מתחילים בשיחות עם האנשים שישתמשו בזה. אילו משימות לוקחות להם הכי הרבה זמן, אילו מסמכים מעורבים, איך נראית תשובה טובה, ומה אסור בשום מצב שייצא מהחדר. מהשיחות האלה בוחרים משימה אחת או שתיים לפיילוט, כאלה שיש בהן גם ערך ברור וגם דרך פשוטה למדוד הצלחה.
שלב 2: בדיקת החומרה
בודקים מה כבר יש: שרתים, תחנות עבודה, כרטיסי GPU, רשת וענן פרטי. הרבה פעמים מגלים שאפשר להתחיל על מה שקיים. במקביל מריצים בדיקת היתכנות קצרה על דוגמה מהמסמכים האמיתיים, כדי לראות איך מודלים שונים מתמודדים איתם, בעברית ובפורמטים שלכם.
שלב 3: תוכנית ותקציב בכתב
בסוף שני השלבים הראשונים אתם מקבלים תוכנית בכתב. היא כוללת:
- איזה מודל פתוח מתאים, ולמה.
- איזו חומרה צריך, אם בכלל, ובכמה אפשרויות מחיר.
- איפה זה ירוץ: בשרת במשרד, בתחנת עבודה או בענן פרטי סגור.
- רשימה של כל הרכיבים, עם המקור והרישיון של כל אחד.
- כמה יעלה להפעיל את זה לאורך זמן.
התוכנית נותנת אפשרויות, לא הצעת מכר. לפעמים המסקנה היא שעדיף לחכות או להתחיל קטן יותר.
שלב 4: התקנה וחיבור למסמכים
מתקינים את המודל ואת הממשק על החומרה שנבחרה, ומחברים אותו למסמכים: תיקיות משותפות, מערכת המסמכים או השרת. בונים אינדקס חיפוש פרטי (RAG), כך שהמודל עונה מתוך הקבצים שלכם ומפנה לעמוד שממנו לקח את התשובה. מתאימים את זה לתהליך האמיתי, למשל Word נכנס ו-Word יוצא, ולא מכריחים את הצוות לעבוד אחרת. בסוף ההתקנה בודקים בפועל לאן המערכת פונה ומה נשמר ואיפה, ומתעדים את התצורה, כי ההבטחה שהמידע נשאר בפנים צריכה לעמוד על בדיקה ולא על הנחה.
שלב 5: fine-tuning, רק כשצריך
אם המשימה חוזרת על עצמה ויש הרבה דוגמאות טובות, אפשר לאמן את המודל נוסף על הדוגמאות שלכם כדי שיכתוב בסגנון ובמונחים של הארגון. זה נשמר כקובץ תוספת קטן לצד המודל. ברוב המקרים חיבור מסמכים טוב מספיק, ו-fine-tuning נכנס רק כשהוא באמת משתלם.
שלב 6: הדרכה וליווי
מודל שאף אחד לא משתמש בו לא שווה כלום. הצוות לומד לעבוד איתו על המשימות שלו, עם דוגמאות מהעבודה האמיתית. בשבועות הראשונים אוספים משוב, מתקנים את מה שלא עובד, ומוסיפים את השימוש הבא. כל סיבוב מהיר יותר מהקודם.
כמה זמן זה לוקח
פיילוט ממוקד לוקח בדרך כלל כמה שבועות מהאפיון ועד שימוש אמיתי ראשון. פריסה לכל הארגון מתוכננת בשלבים, צוות אחרי צוות.
מה כדאי לבדוק לפני שמתחילים
- מה אסור שייצא. הגדירו מראש אילו נתונים רגישים, ומי צריך לאשר.
- מי הבעלים. צריך אדם אחד בארגון שאחראי על הכלי ועל המשוב.
- איך מודדים הצלחה. זמן שנחסך, איכות התוצרים, או כמה אנשים משתמשים בזה כל שבוע.
- מקור ורישיון. בארגונים רגישים כדאי לדעת מאיפה מגיע כל רכיב. על זה בהרחבה במדריך מודל AI מקומי לרשת סגורה.