מודל AI מקומי במשפט אחד
כשאתם כותבים ל-ChatGPT, הטקסט והקבצים נשלחים לשרת של OpenAI, מעובדים שם והתשובה חוזרת. במודל AI מקומי אותו תהליך קורה על מחשב או שרת שנמצא אצלכם. המודל הוא קובץ שמורידים פעם אחת ומריצים ברשת שלכם, ומשם שום דבר לא צריך לצאת.
חשוב לדייק: התקנה מקומית לבדה עוד לא מוכיחה ששום דבר לא יוצא. זה תלוי בתצורה המלאה, כלומר בממשק, בתוספים, בעדכונים, בלוגים ובחסימת התעבורה היוצאת. לכן בודקים את זה בפועל על המערכת שהותקנה, ולא מניחים.
למה עסקים בוחרים מודל AI מקומי
- פרטיות וחיסיון. משרד עורכי דין עם תיקים רפואיים, מרפאה עם רשומות מטופלים או ספק ביטחוני לא יכולים לשלוח מידע לשרת בחו״ל. מודל AI מקומי מאפשר לעבוד עם AI בלי לשלוח את המידע החוצה, בתצורה שנבדקה.
- רשת סגורה. בארגונים שעובדים ברשת בלי אינטרנט, AI בענן פשוט לא נגיש. מודל AI מקומי עובד שם.
- עלות צפויה. אין מנוי לפי משתמש ואין חיוב לפי שימוש. משלמים על החומרה ועל ההקמה, והעלות לא גדלה עם כל שאלה.
- שליטה. המודל לא משתנה בלי שתחליטו. אין עדכון שמשנה התנהגות בן לילה ואין תלות בתנאי שימוש של ספק.
מה מודל AI מקומי יודע לעשות היום
המודלים הפתוחים של היום עושים היטב את רוב העבודה היומיומית של ארגון:
- לענות על שאלות מתוך המסמכים שלכם, עם הפניה לעמוד שממנו נלקחה התשובה.
- לסכם מסמכים ארוכים, תמלולים ופגישות.
- לנסח מכתבים, טיוטות וכתבי טענות מתוך דוגמאות קודמות.
- לתמלל הקלטות בעברית ולחלץ מהן משימות.
- לעזור לצוותי הדרכה לכתוב תכנים, תרגולים ושאלות.
מה צריך כדי להריץ מודל AI מקומי
התשובה תלויה בגודל המודל, במספר המשתמשים ובמהירות שאתם צריכים. בגדול יש שלוש רמות:
| רמה | מה זה | מתאים ל |
|---|---|---|
| המחשבים שכבר יש לכם | מחשב רגיל או נייד חזק, מודל קטן ומכווץ | פיילוט, משתמש אחד עד שלושה |
| תחנת עבודה אחת חזקה | Mac Studio או PC עם כרטיס GPU חזק | משרד קטן עד בינוני |
| שרת ייעודי | שרת עם כמה כרטיסי GPU או ענן פרטי סגור | מחלקות, ארגונים ו-fine-tuning |
הרבה פעמים אפשר להתחיל ברמה הראשונה בלי לקנות כלום, ולהחליט על חומרה רק אחרי שרואים שזה עובד.
מה ההבדל בין חיבור מסמכים ל-fine-tuning
חיבור מסמכים (RAG) בונה אינדקס חכם של הקבצים שלכם. כשמישהו שואל שאלה, המודל מוצא את העמודים הרלוונטיים ועונה מתוכם. זה מכסה את רוב הצרכים, ומתעדכן ברגע שמוסיפים מסמך.
Fine-tuning הוא אימון נוסף של המודל על הדוגמאות שלכם, כדי שיכתוב בסגנון ובמונחים של הארגון. הוא שימושי כשיש הרבה דוגמאות טובות ומשימה חוזרת, כמו ניסוח מסמכים קבועים. מתחילים בחיבור מסמכים, ועוברים ל-fine-tuning רק כשזה משתלם.
האם זה עובד בעברית?
כן, ברמה טובה ומשתפרת. יש מודלים פתוחים שמתמודדים טוב עם עברית, ויש גם מודלים שאומנו במיוחד על עברית. כדאי לבדוק כל מודל על המסמכים האמיתיים שלכם, כי ההבדלים בין מודלים בעברית גדולים יותר מאשר באנגלית.
איך מתחילים
הדרך הכי בטוחה היא פיילוט קטן: משימה אחת, צוות אחד, מסמכים אמיתיים, על החומרה שכבר יש. אחרי כמה שבועות ברור אם זה עובד, מה צריך לשפר, ואם בכלל צריך לקנות חומרה. את התהליך המלא תמצאו במדריך הטמעת מודל AI מקומי, שלב אחר שלב.