Ollama ve AnythingLLM Kurulum Rehberi

Bilgisayarınıza ücretsiz olarak ve internet gerektirmeden kurabileceğiniz Ollama ve AnythingLLM ikilisi, kullanıcıların kendi bilgisayarlarına entegre bir şekilde kurabilmek için idealdir. Bu rehberde, Ollama ve AnythingLLM ikilisinin kurulum adımları, avantajları ve gizlilik boyutunu anlatalım.

Kurulum Adımlarları:

  • Ollama Kurulumu:Ollama.com’ giriş yapın.
  • İndirdiğiniz setup dosyasını bilgisayarınıza indirin.
  • Kurulum dosyasını açın ve kurulum işlemini tamamlayın.
  • AnythingLLM Kurulumu:AnythingLLM.com’a girin.
  • İndirdiğiniz setup dosyasını bilgisayarınıza indirin.
  • Kurulum dosyasını açın ve kurulum işlemini tamamlayın.

Kurulum Adımlarının Öncesi:

  • Bilgisayarınızın en son Windows veya Linux sürümüne sahip olduğuna emin olun.
  • Bilgisayarınızda Microsoft Office veya Google Docs gibi bir document editing software bulunan olmanız gerekebilir.
  • Kişisel Kullanım ıcın office benzeri yazılımlara ıhtıyacınız yoktur

Avantajlar:

  1. Ücretsiz ve Internet Gerektirmez: Ollama ve AnythingLLM ikilisi, kullanıcıların kendi bilgisayarlarına entegre olarak kurabilmek için idealdir.
  2. Kurulum Sorunsuz: Kurulum adımları hiç bir ayar gerektirmez ve kolaydır.
  3. Entegrasyon: Ollama ve AnythingLLM ikilisi, diğer araçlarla entegre olarak, daha fazla verimlilik sağlar.
  4. Gizlilik: Bilgisayarınıza kurulu Ollama ve AnythingLLM ikilisi, kullanıcıların verilerini sınırlı bir şekilde sunar.

Gizlilik Boyutu:

  1. Veri Koruma: Ollama ve AnythingLLM ikilisi, kullanıcıların verilerini sınırlı bir şekilde sunar.
  2. Kullanıcı Kontrolü: Kullanıcılar, verilerini kendi kontrolünde edinebilir.
  3. Bilgisayar Güvenliku: Bilgisayarınızda Ollama ve AnythingLLM ikilisi ile entegre olarak çalıştırılabilir.

Ollama ve AnythingLLM ikilisi, kullanıcıların eigenen bilgisayarlarına ücretsiz ve internet gerektirmeden kurabileceği bir solution olarak idealdir. Kurulum adımları straightforward ve kolaydır, avantajları ve gizlilik boyutu da users için önemlidir.


Komut İstemi (CMD) Üzerinden Model İndirme Adımları

  1. Ollama'yı Başlatın: Bilgisayarınıza kurduğunuz Ollama uygulamasını çalıştırın. Sağ altta (saatin yanında) lama simgesinin belirdiğinden emin olun.
  2. Komut Satırını Açın: Windows kullanıyorsanız Başlat menüsüne cmd yazarak Komut İstemi'ni açın. (Mac veya Linux kullanıyorsanız Terminal'i açın).
  3. Model Kütüphanesini İnceleyin: Ollama; Meta'nın Llama, Google'ın Gemma, Microsoft'un Phi gibi onlarca dünya devi modelini destekler. Bilgisayarınızın donanım gücüne göre şu komutlardan birini yazıp Enter tuşuna basarak indirme işlemini başlatın:
  • Düşük/Orta Seviye Bilgisayarlar İçin (Jet Hızında - Önerilen): ```bash ollama run llama3.2
  • Standart ve Güçlü Bilgisayarlar İçin (Daha Zeki ve Kapsamlı):



ollama run llama3.1

Google Kalitesi İsteyenler İçin:

ollama run gemma2

İndirmenin Tamamlanması: Komutu yazdıktan sonra Ollama, modeli resmi sunucularından bilgisayarınıza parça parça indirmeye başlayacaktır. Ekranda %100 Success yazısını görene kadar pencereyi kapatmayın.


AnythingLLM Üzerinde Model Seçimi ve Bağlantı Ayarları

Modelleri bilgisayarımıza siyah bir terminal ekranına indirdik. Şimdi bu modellere tıpkı ChatGPT gibi şık, kullanışlı, döküman yüklenebilen kurumsal bir arayüz kazandırmak için AnythingLLM yapılandırmasını yapıyoruz.

H3: AnythingLLM Yapay Zeka Sağlayıcısı (LLM Provider) Ayarı

  1. Uygulamayı Açın: Bilgisayarınızda kurulu olan AnythingLLM masaüstü uygulamasını başlatın.
  2. Sistem Ayarlarına Giriş Yapın: Sol alt köşede bulunan Dişli Çark (System Settings) simgesine tıklayın.
  3. LLM Sağlayıcısını Seçin: Açılan menüden "Yapay Zeka Sağlayıcıları" -> "LLM" sekmesine gelin.
  4. Ollama Entegrasyonu: Listelenen onlarca bulut sağlayıcısı (OpenAI, Claude vb.) arasından Ollama seçeneğine tıklayın.
  5. Model Seçimi: Ollama'yı seçtiğiniz anda AnythingLLM, arka planda çalışan Ollama motorunu otomatik olarak tarar. "Ollama Model" açılır menüsüne tıkladığınızda, bir önceki aşamada CMD üzerinden indirdiğiniz model adını (Örn: llama3.2:latest veya gemma2:latest) listede göreceksiniz. Modelinizi seçin.
  6. Token Sınırını Belirleyin (Çökme Önleyici Kritik Ayar): "Context Window" (Bağlam Penceresi) alanını bilgisayarınızın RAM'ini zorlamamak adına 4096 veya 8192 olarak güncelleyin.
  7. Kaydedin: Sayfanın altında bulunan "Save Changes" (Değişiklikleri Kaydet) butonuna basarak ayarları tamamlayın.

Altın Tavsiye

Yerel yapay zeka modelleri kod yazarken veya uzun makaleler üretirken bilgisayarınızın RAM ve ekran kartı (VRAM) hafızasını yoğun şekilde kullanır. Eğer sisteminizde anlık donmalar veya modelin kendi kendine kapanması (çökme) gibi durumlar yaşıyorsanız, AnythingLLM içindeki modelinizi daha hafif ve kaynak dostu olan llama3.2 (3B) modeliyle değiştirmek en kararlı çözümdür.