מה ההבדל בין מקומי לרשת סגורה
מודל AI מקומי רץ על השרתים שלכם. ברשת סגורה יש עוד דרישות: אין גישה לאינטרנט גם בזמן ההתקנה, אין עדכונים אוטומטיים, ולפעמים יש דרישה שכל רכיב יעבור בדיקה לפני שהוא נכנס. כל אלה משנים את הדרך שבה מתכננים ומתקינים.
התקנה אופליין
מכינים מראש חבילת התקנה מלאה מחוץ לרשת: קובצי המודל, התוכנה שמריצה אותו, הממשק וכל הספריות שהם צריכים. החבילה עוברת את תהליך ההעברה המאושר בארגון ונבדקת לפני שהיא נכנסת. בתוך הרשת ההתקנה לא אמורה לפנות לשום שרת חיצוני, ובסוף ההתקנה בודקים את זה בפועל ומתעדים את התצורה. עדכונים נכנסים באותה דרך, כשצוות אבטחת המידע מאשר.
רשימת רכיבים: מה בודקים בכל אחד
מערכת AI מקומית בנויה מכמה רכיבים, ולכל אחד יש מקור ורישיון משלו. לפני שמתקינים משהו כדאי לקבל רשימה מלאה, ולכל רכיב לבדוק שלושה דברים: מי פיתח אותו, מאיזו מדינה הוא מגיע, ומה הרישיון מתיר.
| רכיב | מה הוא עושה |
|---|---|
| מודל השפה (LLM) | כותב, מסכם ועונה על שאלות |
| מודל ה-Embedding | הופך מסמכים לייצוג שמאפשר חיפוש חכם (RAG) |
| מודל תמלול | הופך הקלטות לטקסט |
| מודלים לתמונות ולקול | יוצרים תמונות וקריינות לתוצרי הדרכה |
| תוכנת ההרצה והממשק | מריצים את המודלים ומציגים אותם למשתמשים |
מקור המודל ומודל ה-Embedding
הרבה ארגונים בודקים בקפידה את מודל השפה, ושוכחים את מודל ה-Embedding. הוא רכיב קטן שרץ ברקע, אבל הוא מעבד את כל המסמכים. חלק ממודלי השפה וה-Embedding הפופולריים פותחו בסין, למשל משפחות המודלים Qwen ו-DeepSeek ומודלי ה-Embedding של BAAI (סדרת BGE). אם יש לכם דרישה שלא יהיו רכיבים ממקור סיני, צריך לבחור במכוון חלופות ממקור אחר לכל אחד מהרכיבים, ולא רק למודל הראשי. יש חלופות טובות כאלה גם למודל השפה וגם ל-Embedding.
רישיון: שימוש מסחרי וצבאי
"קוד פתוח" לא אומר שמותר הכל. לכל מודל יש רישיון ולפעמים גם מדיניות שימוש נפרדת. מה שבודקים:
- שימוש מסחרי. יש רישיונות שמגבילים שימוש מסחרי, או מגבילים אותו מעל מספר משתמשים מסוים.
- שימוש צבאי וביטחוני. יש מדיניות שימוש שאוסרת שימוש צבאי, ולפעמים יש לה חריגים שתלויים במדינה או בסוג הלקוח. צריך לקרוא את הנוסח של הגרסה הספציפית.
- רישיונות מתירניים. מודלים שמשוחררים תחת רישיונות כמו Apache 2.0 או MIT הם בדרך כלל הפשוטים ביותר לשימוש מסחרי, אבל עדיין כדאי לוודא שאין מגבלה נוספת.
- גרסה ושימוש מדויקים. רישיונות משתנים בין גרסאות של אותה משפחת מודלים. בודקים את המודל והגרסה המדויקים שמתקינים, מול השימוש המתוכנן שלכם, ולא את משפחת המודלים באופן כללי.
מה אפשר לעשות ברשת סגורה
- חיפוש ושאלות על אלפי מסמכים טכניים, עם הפניה לסעיף ולמסמך.
- כתיבה טכנית וסיכומים.
- לומדות ותרגולים חכמים שרצים גם בשטח, על טאבלט בלי חיבור.
- לצוותי הדרכה: כלים להכנת מצגות, תמונות וסרטונים מהר יותר. טקסט ותמונות בשלים היום; וידאו מקומי עדיין פחות בשל, ולכן בודקים על התוכן שלכם לפני שמתחייבים.