מה מפריע לי ב AI? נו זה קל - פרטיות ועלות. פרטיות כי אני לא צריך שכל שאלה שלי תישמר במאגרים של OpenAI לנצח, שכל העובדים שלהם יוכלו לראות מה מעניין אותי ומי בכלל יודע להבטיח לי למי ברשת המידע הזה נשלח. ועלות כי אם אני בונה מערכת שאני רוצה לשלב בה AI אני צריך לשלם היום ל OpenAI על כל בקשה דרך ה API, מה שהופך את כל העסק ליותר מאתגר מבחינה כלכלית ואם אני רוצה להשתמש ב AI בקורסים אז התלמידים צריכים לפתוח חשבון API בתשלום ב OpenAI.

מכל הסיבות האלה שמחתי לגלות שהיום קל יותר מאי פעם להתקין גירסה מקומית של סוכן GPT, שיהיה לגמרי פרטי ולגמרי בחינם וגם יעבוד עם API בדיוק כמו ChatGPT. הנה כל מה שעליכם לעשות:

1. מורידים ומתקינים Ollama מהקישור https://ollama.com/download. וכן יש גם גירסה ללינוקס אז אפשר להפעיל את זה על שרת לכל מערכת ווב שנכתוב.

2. אחרי ההתקנה על מק התוכנה עלתה לבד והתחילה לענות על בקשות ב API. אם זה לא קורה אפשר להפעיל משורת הפקודה ollama serve.

3. איך יודעים שזה עובד? מפעילים:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false}'

1. אם אתם אנשי שורת הפקודה תוכלו לתקשר עם המודל דרך צ'ט טקסטואלי בעזרת הפעלת הפקודה:

ollama run llama3.2

בפעם הראשונה ייקח לו קצת זמן לעלות כי הוא מוריד את המודל.

1. אם אתם מעדיפים GUI תוכלו להתקין את ollama-gui מהקישור https://github.com/HelgeSverre/ollama-gui. אחרי שכפול הריפו מפעילים npm install ואז npm run dev ומקבלים מסך צ'ט בדפדפן בדיוק כמו ChatGPT.