Model İndirme ve Python ile Prompt Mühendisliği

Bir önceki bölümde, Ollama aracının ne olduğundan, nasıl kurulacağından ve nasıl çalıştırılacağından bahsettik. Bu bölümde ise Ollama üzerinden model indirme ve Python kullanarak basit bir prompt mühendisliği sürecini ele alacağız. Böylece, modelinizi nasıl daha verimli hale getirebileceğinizi öğreneceksiniz.

1. Ollama ile Model İndirme

Ollama, önceden eğitilmiş çeşitli büyük dil modellerini (LLM) destekler. Bu modelleri kullanabilmek için ilk olarak bilgisayarınıza indirmeniz gerekir. Ollama’nın en büyük avantajlarından biri, tek bir komut ile popüler modelleri kolayca çalıştırabilmenizdir.

1.1. Model Seçimi ve İndirme

Ollama ile desteklenen popüler modellerden bazıları şunlardır:

• Mistral 7B – Hafif ve hızlı bir model

• Llama 3 – Meta’nın geliştirdiği büyük dil modeli

• DeepSeek Coder – Kod yazma odaklı model

• Asistan_AR - Hafif ama akıl yürütme yeteneğine sahip dil modeli

Bu bölümde kendi eğittiğim yapay zeka modeli olan Asistan AI'ı kullanacağız. Terminalde şu komutu çalıştırabilirsiniz:

ollama pull Asistan_AR:7b

Yukarıdaki komut, Asistan_AR 7B modelini indirir. Eğer farklı bir model kullanmak isterseniz, Asistan_AR yerine istediğiniz modelin adını yazabilirsiniz.

1.2. Modeli Çalıştırma

Modeli indirdikten sonra, terminalde şu komutu kullanarak çalıştırabilirsiniz:

ollama run Asistan_AR:7b

Bu komut, modeli başlatır ve metin girişlerinizi yanıtlayacak şekilde çalıştırır.

2. Python ile Prompt Mühendisliği

Şimdi modelimize Python ile nasıl komut vereceğimizi ve daha verimli yanıtlar alabileceğimizi öğreneceğiz. Bunun için Ollama’nın Python API’sini kullanacağız.

2.1. Ollama Python Kütüphanesini Yükleme

Python üzerinden Ollama’yı kullanabilmek için ollama kütüphanesini yüklememiz gerekiyor. Terminal veya komut istemcisine şu komutu girerek yükleyebilirsiniz:

pip install ollama

2.2. Python ile Basit Bir Model Çalıştırma

Şimdi, Python ile Ollama modeline basit bir prompt (girdi) gönderelim:

from ollama import chat

response = ollama.chat(model="Keremcm_/Asistan_AR:7b", messages=[{"role": "user", "content": "Merhaba, nasılsın?"}])

print(response['message']['content'])

Bu kod, Asistan_AR modelini kullanarak basit bir konuşma başlatır ve modelin yanıtını ekrana yazdırır.

2.3. Prompt Mühendisliği: Daha İyi Yanıtlar Almak

Yapay zeka modellerinden en iyi sonuçları almak için prompt mühendisliği tekniklerini kullanabiliriz. Örneğin:

• Açık ve Net Olun: Modelin tam olarak ne yapmasını istediğinizi belirtin.

• Bağlam Verin: Modele daha fazla bilgi vererek yanıtları iyileştirin.

• Örnekler Kullanın: Modelin yanıtlarını yönlendirmek için birkaç örnek sağlayabilirsiniz.

Örneğin, bir hikâye oluşturmasını istemek için şu kodu yazabiliriz:

from ollama import chat

prompt = """Bir bilim kurgu hikayesi yaz.  

Hikaye, 2150 yılında Mars'ta geçiyor. Baş karakterimiz bir bilim insanı ve büyük bir keşif yapıyor."""  

response = ollama.chat(model="mistral", messages=[{"role": "user", "content": prompt}])  

print(response['message']['content'])

Bu şekilde, modelin istenilen formatta ve daha kaliteli yanıtlar üretmesini sağlayabilirsiniz.

3. Modeli Eğitme ve Özelleştirme

Ollama, modelleri sıfırdan eğitmek yerine, var olan bir modeli özelleştirmeye (fine-tuning) olanak tanır. Bunun için kendi veri kümenizi kullanarak modeli eğitebilirsiniz.

Eğitim için aşağıdaki adımları takip edebilirsiniz:

1. Kendi Verinizi Hazırlayın – Modelin öğrenmesini istediğiniz özel bilgileri içeren bir JSON veya TXT dosyası oluşturun.

2. Eğitim Komutunu Çalıştırın – Aşağıdaki komut ile modeli özelleştirebilirsiniz:

ollama create my-custom-model -f my_data.json

3. Özelleştirilmiş Modeli Çalıştırın – Yeni eğitilmiş modeli şu şekilde çalıştırabilirsiniz:

ollama run my-custom-model

Bu işlem, modelin sizin belirlediğiniz verilere göre daha doğru sonuçlar üretmesini sağlar.

Sonuç

Bu bölümde, Ollama üzerinden model indirme, Python ile etkileşim kurma ve prompt mühendisliği gibi konuları ele aldık. Artık kendi yerel yapay zekanızı çalıştırabilir ve onu ihtiyacınıza uygun şekilde yönlendirebilirsiniz.

3. Bölüm

Bir sonraki bölümde, Ollama modellerini farklı uygulamalara nasıl entegre edebileceğimizi ve modelin çıktısını daha verimli kullanmayı anlatacağız.