חיסיון ותיקים רפואיים
משרד שמטפל בתביעות רפואיות לא יכול לשלוח תיקי מטופלים לשרת בחו״ל. דליפה אחת היא אחת יותר מדי.
בילדר המתמחה בעבודה עם מודלי AI מקומיים
מודל AI מקומי שלא יוצא מהמשרד. הקבצים שלכם נשארים אצלכם.
אני בילדר שמתמחה במודלי AI מקומיים: מתכנן, מטמיע ומאמן מודל AI מקומי על השרתים שלכם, למשרדי עורכי דין, לתעשיות הביטחוניות, למרפאות, לצוותי הדרכה ולכל עסק שלא יכול לשלוח את המידע שלו ל-ChatGPT. מהשיחה הראשונה ועד מודל שהצוות באמת עובד איתו.
עברית קודם
עובד גם בלי אינטרנט
המודל שייך לכם
רחפו כדי להפעיל
0בייטים מהמידע שלכם יוצאים מהרשת
11שנים בתעשייה הביטחונית
6שנים בהייטק
למה AI בענן לא מתאים לכם
כולם רוצים AI.
כולם רוצים AI.
לא כולם יכולים להעלות אליו את הקבצים.
המתחרים מדביקים מסמכים לצ׳אטבוטים. אתם לא יכולים, וגם לא כדאי לכם. סודיות, רגולציה ושכל ישר אומרים שהמידע נשאר בפנים. עד היום, המשמעות הייתה בלי AI בכלל.
מסווג ומנותק מהרשת
ספקים ביטחוניים עובדים ברשתות בלי אינטרנט בכלל. AI בענן פשוט לא יכול להיכנס. מודל AI מקומי כן.
מידע שלא תמסרו ל-OpenAI
רשימות לקוחות, תיקי עובדים, קניין רוחני וידע פנימי. מה שלא הייתם שולחים במייל לאדם זר, לא צריך לאמן מודל של מישהו אחר.
מודל AI מקומי פותר את שלושתם. ככה זה עובד
השירות
משיחה אחת
משיחה אחת
למודל פרטי שעובד.
איש אחד, מקצה לקצה. אני לומד איך אתם עובדים, בודק מה כבר יש לכם, ורק אז ממליץ מה לבנות.
01
לומדים את הצרכים
שיחות עם האנשים שישתמשו בזה. אילו מסמכים, אילו משימות, איך נראית הצלחה, ומה אסור שייצא מהחדר.
02
בודקים את החומרה
שרתים, כרטיסי GPU, תחנות עבודה, רשת וענן פרטי. הרבה פעמים אפשר להתחיל עם מה שכבר יש.
03
ממליצים על תוכנית
איזה מודל פתוח, איזו חומרה לקנות (אם בכלל), איפה זה ירוץ וכמה יעלה להפעיל. כל מודל וכל רכיב נבדק לפי מקור ורישיון, כולל שימוש מסחרי וביטחוני. תוכנית ברורה עם אפשרויות, לא הצעת מכר.
04
בונים את המודל
מתקינים, מחברים למסמכים שלכם ומתאימים לתהליכים האמיתיים: ניסוח, חיפוש, סיכומים, Word נכנס ו-Word יוצא.
05
מכשירים את הצוות
כאן הרקע שלי בהדרכה נכנס לתמונה. סדנאות מעשיות כדי שהצוות יסמוך על הכלי, ישתמש בו כל יום ויכיר את הגבולות שלו.
06
Fine-tuning כשזה משתלם
כשהשפה, הסגנון או התחום שלכם ייחודיים, אני מאמן את המודל על המידע שלכם, על המחשבים שלכם.
שלבים 4 עד 6 בתנועה
מכווננים את המודל, ואז מכשירים את האנשים.
המסמכים שלכם מעצבים שכבת התאמה דקה מעל מודל פתוח. אחר כך הצוות לומד לעבוד איתו בסדנאות מעשיות. לחצו על המסמכים, על המודל או על אדם כדי לראות כל חלק.
↻אחרי ההשקה מודדים, משפרים ומוסיפים את השימוש הבא. כל סיבוב מהיר מהקודם.
מה אפשר להריץ על החומרה שלכם
מתחילים ממה שיש.
מתחילים ממה שיש.
קונים רק את מה שחסר.
בחרו את המצב הכי קרוב לשלכם כדי לראות מה ריאלי. התשובה האמיתית מגיעה אחרי שאני בודק את המחשבים שלכם.
רמה 1: המחשבים שכבר יש לכם
התחלה מהירה בלי לקנות כלום
מצוין לפיילוט, לצוותים קטנים ולבוני כלי הדרכה. מודלים פתוחים קטנים ומכווצים רצים טוב באופן מפתיע על מחשבים רגילים.
- מודלים
- מודלים פתוחים קטנים (≈7–14B, מכווצים)
- מתאים ל
- סיכומים, שאלות על מסמכים, תמלול בעברית
- משתמשים
- 1–3 אנשים במקביל
- עלות חומרה
- ₪0 חומרה נוספת
טווחים להמחשה בלבד. ההמלצה הסופית תלויה במסמכים, במספר המשתמשים ובמהירות הנדרשת.
לקורא הטכני: CTO, CISO ו-ITמה יש מתחת למכסה המנוע
- מודלים פתוחים (למשל Gemma, Llama, Qwen, Mistral, DictaLM) שנבחרים לפי משימה ושפה
- שרת הרצה מקומי על החומרה שלכם או בסביבת הענן שלכם
- אינדקס מסמכים פרטי (RAG) עם תשובות שמצטטות את עמוד המקור
- Fine-tuning עם LoRA / QLoRA כשהסגנון או התחום שלכם דורשים
- ממשק ווב פנימי ברשת שלכם, עם הרשאות המשתמשים הקיימות
- בלי טלמטריה, תעבורה יוצאת חסומה בחומת האש, לוגים נשארים אצלכם
מה באמת שייך לכם
לא קופסה שחורה בענן. תיקייה על השרת שלכם.
המודל, ה-fine-tuning, אינדקס המסמכים והממשק יושבים כולם על הדיסק שלכם. בלי מנוי חודשי לחברת AI, בלי טלמטריה, וזה ממשיך לעבוד גם כשהאינטרנט נופל.
מילון מונחים
/srv/private-ai/- מודל פתוח
Open-weights model - המודל עצמו: קובץ שמורידים ומריצים על המחשב שלכם. כדי לקבל תשובה לא שולחים שום דבר לאף אחד.
- Fine-tuning
LoRA adapter - אימון נוסף על הדוגמאות שלכם, כדי שהמודל יכתוב בסגנון ובמונחים של הארגון. נשמר כקובץ תוספת קטן (Adapter) לצד המודל.
- אינדקס חיפוש
RAG / Embeddings - מפתח חכם של המסמכים שלכם, שמאפשר למודל למצוא את העמוד הנכון ולצטט ממנו. נבנה על השרת שלכם, מהקבצים שלכם.
- ממשק פנימי
Web UI - מסך צ׳אט בדפדפן, שזמין רק בתוך הרשת של הארגון.
- לוגים
Logs - תיעוד של השאלות והתשובות. נשמר רק על השרת שלכם, ואתם מחליטים אם לשמור אותו בכלל.
- רשת סגורה
Outbound: blocked - כל התעבורה היוצאת חסומה, ובסוף ההתקנה בודקים בפועל שזה באמת כך.
למי זה מתאים
לעסקים שבהם
לעסקים שבהם
פרטיות היא לא אופציה.
משרדי עורכי דין
״מוח״ פרטי שמכיר את כתבי הטענות הקודמים שלכם, מנסח חדשים בסגנון של המשרד, ולומד מכל תיקון של עורך דין.
תעשיות ביטחוניות
מודלים שרצים ברשתות מבודדות בלי אינטרנט, לחיפוש במסמכים, כתיבה טכנית ושליפת ידע, מותקנים מחבילות אופליין שנבדקו מראש. אחרי 11 שנים בתעשייה הביטחונית, אני מכיר את הסביבות האלה מבפנים.
צוותי הדרכה ולמידה
AI מקומי למפתחי הדרכה ולמדריכים: כלים שעוזרים להכין מצגות, תמונות, סרטונים ותרגולים מהר יותר, ברשת הפנימית. בשיטת Vibe Training, בלי לחשוף תוכן פנימי למודלים ציבוריים.
vibetraining.co.il ↗כל עסק שפרטיות חשובה לו
מרפאות, רואי חשבון, משאבי אנוש, מו״פ ומדיה. אם זה חייב להישאר מנותק מהאינטרנט או מהמודלים הציבוריים, אפשר לבנות את זה.
מקומי מול ענן
אותה אינטליגנציה. כתובת אחרת.
חשוב לדעת: המודלים הגדולים בענן עדיין חזקים יותר בחלק מהמשימות. חלק מהתוכנית זה לומר לכם בפשטות איפה מודל AI מקומי מספיק ואיפה לא.
בונה AI מקומי, קודם כל.
זה מה שאני רוצה שיגידו עליי: כל מה שאני בונה רץ בסביבה שלכם, עובד על המידע שלכם ונשאר שלכם. אלה הכללים שלפיהם אני בונה, עם הפרויקטים שמוכיחים אותם.
אני משתף את הבנייה בלינקדאין ↗המידע שלכם נשאר שלכם.
מסמכים, הקלטות ושיחות נשמרים אצלכם: במחשב, בתיקייה או בענן הפרטי שלכם. שום דבר לא עובר דרך שרת של מישהו אחר אם לא בחרתם בזה.
ראו:המודל שלכם, החשבון שלכם.
מביאים את המודל ואת המפתח שלכם. בלי נעילה לספק אחד, ואפשר להחליף מודל בלי לבנות הכל מחדש.
ראו:עובד בסביבה שכבר יש לכם.
Google Workspace, Obsidian, תיקייה משותפת או השרת במשרד. לא עוד מערכת שצריך לאשר, ללמוד ולשלם עליה.
ראו:שום פעולה בלי אישור.
סוכנים יכולים לעשות הרבה, אבל שליחה, תשלום או מחיקה תמיד עוצרים ומחכים לאישור של אדם.
ראו:עברית קודם.
עברית ומימין לשמאל הם ברירת המחדל, לא שכבת תרגום. כולל תמלול, סיכומים וכתיבה.
ראו:אני משתמש במה שאני בונה.
כל כלל כאן נבדק קודם עליי. הסוכנים שלי, הפתקים שלי וההקלטות שלי עובדים ככה כל יום.
ראו:
מה בניתי.
ומה אני בונה עכשיו.
הכלים שלי ופרויקטים ללקוחות, כולם בנויים לפי אותם כללים. שמות הלקוחות הושמטו בכוונה.
בשימוש יומיומי
Sidebots
צוות סוכני ה-AI האישי שלי. סוכן פרטי רץ על ה-Mac שלי עם מודל פתוח ומקבל משימות מהוואטסאפ. סוכן הדפדפן עוצר לאישור שלי לפני כל שליחה או תשלום.
רץ על: ה-Mac שלי, Ollama, Obsidian
בשימוש יומיומי
״ענף״
מנהל רשימות בעברית, מימין לשמאל, שעובד כתוסף ל-Obsidian ב-Mac ובאייפון. כל פתק הוא קובץ Markdown רגיל ששייך לכם, בלי שרת ובלי פורמט נעול.
רץ על: Obsidian, הקבצים שלכם
בבטא פרטית
כלי תמלול בעברית
מקליט ומתמלל פגישות בעברית. ההקלטה, התמלול והסיכום נשמרים כקבצים בתיקייה שלכם, לא על שרת של מישהו אחר.
רץ על: Mac, התיקייה שלכם
בבנייה עכשיו
מוח פרטי למשרד עורכי דין
מערכת שמכירה את כתבי הטענות הקודמים של המשרד, מנסחת חדשים ולומדת מכל תיקון של עורך דין. הכל רץ בסביבת ה-Azure של המשרד.
רץ על: ה-Azure של הלקוח
נבנה באלמנטור
Vibe Training באלמנטור
כלי למידה ו-Enablement שבניתי בתוך ה-Google Workspace של אלמנטור, בלי מפתחים ובלי מערכת חיצונית חדשה. על זה אני מדבר בפודקאסט עם אור דניאל.
- מערכת למידה פנימית
- אוטומציות מבוססות Apps Script
- לומדות אינטראקטיביות
- כלי Enablement לצוותים
רץ על: ה-Google Workspace של החברה
באוויר
האתר הזה
בלי עוגיות, בלי מעקב, והפונטים מוטמעים. גם כאן שום דבר לא יוצא.
רץ על: אחסון סטטי
בשביל הכיף
מה אני בונה כמייקר
לוחות ESP32 קטנים ומסכי דיו אלקטרוני על השולחן שלי. אותו כלל כמו בכל השאר: הכל רץ על המכשיר ושום דבר לא עולה לענן.
קורא ספרים בכיס
קושחה משלי לקורא ספרים קטן עם מסך דיו אלקטרוני שבנוי על ESP32. הספרים נטענים מהקבצים שלי, בלי חנות ובלי חשבון.
Xteink X4, ESP32-C3מסך דיו אלקטרוני 7.5 אינץ׳
מסך e-paper על ESP32 שאני הופך לתצוגה שקטה של היום. כמעט לא צורך חשמל ולא מושך כלום מהענן.
reTerminal E1001, ESP32-S3מכשירי תמלול
מכשיר עגול וקטן למרכז שולחן הישיבות. מקליט, זוהר כשהוא מקליט, ועוצר כשהופכים אותו. ההקלטה עוברת ישר ל-Mac שבחדר.
AMOLED 1.75", ESP32-S3מחברת דיגיטלית
כתב יד ופתקים על דיו אלקטרוני, שנשמרים כקבצים רגילים בתיקייה שלי.
ESP32, e-ink
AI מקומי · ישראל
Local 1st AI Builder
היי, אני שגיא, ואני מתמחה במודלי AI מקומיים.
אני מגיע אחרי 11 שנים בתעשייה הביטחונית, תקופה כפרילנסר ו-6 שנים בהייטק.
הרקע שלי הוא הדרכה ועיצוב למידה, ולמדתי לבנות. בתפקיד האחרון שלי באלמנטור, כ-AI Tailor, הובלתי הטמעת AI פנימית ובניתי כלים שצוותים משתמשים בהם כל יום. מודל AI מקומי שווה משהו רק אם אנשים באמת משתמשים בו, ולכן אני בונה את המודל וגם מכשיר את מי שעובד איתו.
- כיום בצוות ההקמה של סטארטאפ חדש שמטמיע AI בעסקים קטנים ובינוניים
- 11 שנים בתעשייה הביטחונית
- 6 שנים באלמנטור כ-AI Tailor, בהובלת הטמעת AI פנימית בתפקיד האחרון
- מייסד Vibe Training, שיטה שמלמדת צוותי הדרכה לבנות כלים עם AI
- עובד בעברית ובאנגלית. מבוסס בישראל ומגיע אליכם למשרד כשצריך
הסרטון נטען מיוטיוב רק אחרי לחיצה.סיכום הפרק ב-LearnTech ↗
שאלות
שאלות על מודלי AI מקומיים.
מה זה מודל AI מקומי?
מודל AI מקומי הוא מודל בינה מלאכותית (LLM) שרץ על המחשבים או השרתים של הארגון, ולא בענן של חברה אחרת. כשהתצורה מוגדרת ונבדקת, המסמכים והשאלות נשארים ברשת, אין מנוי לפי משתמש, והוא יכול לעבוד גם בלי אינטרנט.
איך נראית הטמעת מודל AI מקומי בארגון?
ארבעה שלבים: אפיון של מה הצוות צריך, בדיקה של החומרה הקיימת, תוכנית בכתב עם מודל, חומרה ותקציב, ואז התקנה, חיבור למסמכים, fine-tuning כשצריך והדרכה עד שהצוות עובד עם זה ביום יום. פיילוט ממוקד לוקח בדרך כלל כמה שבועות.
צריך לקנות כרטיסי GPU יקרים?
לא בהכרח. מודלים קטנים רצים על שרת סביר או אפילו על תחנת עבודה חזקה. אם המהירות חשובה, אמליץ על החומרה המתאימה, עם מחיר והסבר.
זה באמת עובד בעברית?
כן. המודלים הפתוחים של היום מתמודדים טוב עם עברית, ואני בודק כל הגדרה על המסמכים שלכם בעברית לפני שמתחייבים למשהו.
זה יכול לעבוד בלי אינטרנט בכלל?
כן. אני מכין חבילות התקנה אופליין, הן עוברות את תהליך ההעברה המאושר אצלכם, ואחרי ההתקנה הכל רץ ברשת הפנימית. עדכונים נכנסים באותה דרך, כשצוות אבטחת המידע מאשר.
איך אתה בודק מאיפה מגיע מודל ומה הרישיון שלו מאפשר?
לפני שמתקינים משהו אתם מקבלים רשימה של כל הרכיבים: מודל השפה, מודל ה-Embedding, מודלים לתמונות ולקול והתוכנות שסביבם. לכל רכיב: מי פיתח אותו, מאיזו מדינה הוא מגיע ומה הרישיון מתיר, כולל שימוש מסחרי וצבאי. רכיב שלא עומד בדרישות שלכם, למשל בגלל המקור שלו, מוחלף בחלופה שכן עומדת.
אפשר גם להכין מצגות, תמונות וסרטונים?
כן, עם כלים מקומיים לכתיבה ובניית מצגות, ליצירת תמונות ולהפקת סרטונים עם קריינות, הכל ברשת הפנימית. טקסט ותמונות בשלים היום; וידאו מקומי פחות בשל, ואני מראה לכם על התוכן שלכם מה עובד טוב ומה לא לפני שמתחייבים.
מה ההבדל בין חיבור מסמכים ל-fine-tuning?
חיבור מסמכים (RAG) מאפשר למודל לקרוא את הקבצים שלכם ולצטט מהם, וזה מכסה את רוב הצרכים. Fine-tuning משנה את המודל עצמו כדי שיכתוב בסגנון או בתחום שלכם. מתחילים בראשון ועוברים לשני רק כשזה משתלם.
אפשר להריץ את זה בענן הפרטי שלנו במקום במשרד?
לפעמים כן, למשל בסביבת Azure שלכם. אזור Azure בישראל לבדו לא מוכיח שכל שירות או תצורה עומדים בדרישות, ולכן בודקים מראש איפה כל רכיב רץ, לאן נשמרים נתונים ולוגים ומה סגור לאינטרנט.
כמה זמן זה לוקח?
פיילוט ממוקד לוקח בדרך כלל כמה שבועות מהאפיון ועד שימוש אמיתי ראשון. פריסות גדולות יותר מתוכננות בשלבים.
איך זה מתחבר ל-Vibe Training ולצוותי הדרכה?
Vibe Training מלמדת צוותי הדרכה לבנות בעצמם כלי למידה עם AI. בארגונים שבהם אסור להעלות חומרי הדרכה לענן, אני מחבר את השיטה למודל AI מקומי ברשת הפנימית ומכשיר את הצוות לעבוד מולו.
בואו נדבר
תכניסו AI.
תכניסו AI.
תשאירו את המידע בפנים.
שיחה של 30 דקות. אתם מספרים מה אתם רוצים להשיג, ואני אומר לכם בכנות אם מודל AI מקומי מתאים.