Yerel Yapay Zeka Denedim: Tavsiye Eder Miyim?

Bu aralar yapay zeka dünyasında herkesin gözü kulağı GPT-5’te, yani OpenAI’ın son harikası büyük dil modelinde olabilir. Ama bu büyük beklentiyi (ve yarattığı hayal kırıklığını) bir kenara bırakırsak, OpenAI’dan bu hafta bomba gibi bir duyuru daha geldi: gpt-oss. Bu, kendi cihazında, yerel olarak çalıştırabileceğin yepyeni bir yapay zeka modeli. Ben hem laptopumda hem de iMac’imde çalıştırmayı başardım ama aynısını yapmanı önerir miyim, işte ondan pek emin değilim.

Peki, bu gpt-oss’in olayı ne?

gpt-oss da tıpkı GPT-5 gibi bir yapay zeka modeli. Fakat OpenAI’ın en yeni ve en havalı modelinin aksine, gpt-oss “açık ağırlıklı” (open-weight) bir yapıya sahip. Bu ne demek? Geliştiricilerin modeli alıp kendi özel amaçları için özelleştirmesine ve ince ayar yapmasına olanak tanıyor demek. Yalnız bu, “açık kaynak” (open source) ile aynı şey değil. Eğer açık kaynak olsaydı, OpenAI’ın hem modelin temel kodunu hem de eğitildiği verileri paylaşması gerekirdi. Şirket bunun yerine sadece “ağırlıklara” yani modelin veriler arasındaki ilişkileri nasıl anladığını kontrol eden ayarlara erişim izni veriyor.

Ben bir geliştirici değilim, o yüzden bu avantajdan faydalanamam. Ama gpt-oss ile yapabildiğim ve GPT-5 ile yapamadığım bir şey var: Modeli kendi Mac’imde yerel olarak çalıştırmak. Benim gibi sıradan bir kullanıcı için bunun en büyük artısı, internet bağlantısı olmadan bir büyük dil modeli (LLM) kullanabilmek. Şirketin, ChatGPT’yi kullandığımda ürettiğim tüm verileri bir elektrik süpürgesi gibi çektiğini düşünürsek, bu muhtemelen bir OpenAI modelini kullanmanın en gizli ve özel yolu.

Model iki farklı versiyonla geliyor: gpt-oss-20b ve gpt-oss-120b. İkincisi çok daha güçlü bir model ve dolayısıyla en az 80GB belleğe sahip makineler için tasarlanmış. Benim o kadar RAM’e sahip bir bilgisayarım yok, o yüzden 120b’lik versiyon benim için hayal. Neyse ki, gpt-oss-20b için minimum bellek gereksinimi 16GB. Bu, benim M1 çipli iMac’imin belleğiyle tamı tamına aynı ve M3 Pro çipli MacBook Pro’mdan sadece iki gigabayt daha az.

Bir Mac’e gpt-oss nasıl kurulur?

gpt-oss’i bir Mac’e kurmak şaşırtıcı derecede basit. Tek ihtiyacın olan şey Ollama adında bir program. Bu program, büyük dil modellerini kendi makinen üzerinde yerel olarak çalıştırmanı sağlıyor. Ollama’yı Mac’ine indirdikten sonra aç. Uygulamanın arayüzü daha önce kullandığın herhangi bir sohbet robotuna benziyor, tek farkı önce makineye indireceğin farklı yapay zeka modelleri arasından seçim yapabilmen. Gönder tuşunun yanındaki model seçiciye tıkla ve “gpt-oss:20b” modelini bul. Onu seçtikten sonra indirmeyi başlatmak için herhangi bir mesaj gönder. Benim tecrübeme göre, indirme için 12GB’tan biraz daha fazla bir alana ihtiyacın olacak.

Alternatif olarak, Mac’inin Terminal uygulamasını kullanarak şu komutu çalıştırarak da modeli indirebilirsin: ollama run gpt-oss:20b. İndirme tamamlandığında, her şey hazır demektir.

gpt-oss’i Mac’lerimde deniyorum

gpt-oss-20b modelini iki Mac’ime de kurduktan sonra, onları teste sokmaya hazırdım. Modeli çalıştırmak için olabildiğince fazla kaynak ayırmak adına neredeyse tüm aktif programları kapattım. Açık olan tek uygulamalar tabii ki Ollama ve bir de Mac’lerimin ne kadar zorlandığını takip edebilmek için Etkinlik Monitörü’ydü.

Basit bir soruyla başladım: “2+2 kaç eder?” İki bilgisayarda da ‘enter’ tuşuna bastıktan sonra, sanki Ollama yazıyormuş gibi isteği işleyen sohbet balonları belirdi. Aynı anda iki makinenin de belleğinin sonuna kadar zorlandığını görebiliyordum.

MacBook’umdaki Ollama, isteği 5.9 saniye boyunca düşündü ve içinden şöyle bir şeyler geçirdi: “Kullanıcı soruyor: ‘2+2 kaç eder’. Bu basit bir aritmetik sorusu. Cevap 4. Basitçe cevap verilmeli. Daha fazla detaya gerek yok ama kibar bir yanıt verilebilir. Ekstra bir bağlama ihtiyaç duyulmuyor.” Sonra da soruyu cevapladı. Tüm süreç yaklaşık 12 saniye sürdü. Diğer yanda iMac’im ise neredeyse 60 saniye düşündü ve o da aynı iç sesi geçirdi. Soruyu cevaplamasıyla birlikte toplamda 90 saniye sürdü. 2+2’nin cevabını öğrenmek için epey uzun bir süre.

Sırada, GPT-5’in zorlandığını gördüğüm bir soru vardı: “blueberry kelimesinde kaç tane b harfi var?” Beklendiği gibi, MacBook’um iMac’ime göre çok daha hızlı bir şekilde cevap üretmeye başladı. Hâlâ yavaş olsa da makul bir hızda metin çıkarıyordu, iMac’im ise her bir kelimeyi çıkarmak için resmen can çekişiyordu. MacBook’umun toplamda yaklaşık 90 saniye, iMac’imin ise tam 4 dakika 10 saniye sürdü. İki program da “blueberry” kelimesinde iki tane “b” olduğunu doğru bir şekilde bildi.

Son olarak, ikisine de İngiltere’nin ilk kralının kim olduğunu sordum. İngiliz tarihinin bu kısmına pek hakim olmadığımı itiraf etmeliyim, o yüzden bunun basit bir cevap olacağını varsaymıştım. Ama görünüşe göre bu karmaşık bir soruymuş, bu yüzden modeli epey bir düşündürdü. MacBook Pro’mun soruyu tam olarak cevaplaması iki dakika sürdü —kime sorduğuna bağlı olarak cevap ya Æthelstan ya da Büyük Alfred’miş—. iMac’im ise tam 10 dakikada cevabı verebildi. Gerçi hakkını yemeyeyim, İngiltere tek bir bayrak altında birleşmeden önceki diğer krallıkların krallarını da saymak için ekstra zaman harcadı. Bu çabası için bir alkışı hak etti.

gpt-oss vs. ChatGPT

Bu üç basit testten anlaşılan o ki, MacBook’umun M3 Pro çipi ve fazladan 2GB’lık RAM’i, iMac’imin 16GB RAM’li M1 çipini adeta ezip geçti. Ama bu, MacBook Pro’yu çok da övmemiz gerektiği anlamına gelmiyor. Bu cevapların bazıları, özellikle de tam teşekküllü ChatGPT deneyimiyle karşılaştırıldığında, hâlâ can sıkıcı derecede yavaş. İşte aynı üç soruyu, şu an GPT-5 ile çalışan ChatGPT uygulamama sorduğumda olanlar:

• “2+2 kaç eder?” diye sorduğumda, ChatGPT neredeyse anında cevap verdi.
• “blueberry kelimesinde kaç tane b harfi var?” diye sorduğumda, ChatGPT yaklaşık 10 saniyede cevap verdi. (Görünüşe göre OpenAI, GPT-5’in bu konudaki sorununu düzeltmiş.)
• “İngiltere’nin ilk kralı kimdi?” diye sorduğumda, ChatGPT yaklaşık 6 saniyede cevap verdi.

Yapay zekanın “blueberry” sorusu üzerinde düşünmesi, İngiliz kraliyet ailesinin karmaşık tarihini değerlendirmesinden daha uzun sürdü.

Sanırım gpt-oss’i pek kullanmayacağım

Açıkçası ben, günlük hayatında ChatGPT’yi o kadar da sık kullanan biri değilim, o yüzden belki de bu deneyim için en iyi denek ben sayılmam. Ama ateşli bir LLM kullanıcısı olsaydım bile, gpt-oss kişisel donanımımda o kadar yavaş çalışıyor ki, bunu tam zamanlı olarak kullanmayı asla düşünemezdim.

iMac’imle karşılaştırıldığında, MacBook Pro’mdaki gpt-oss hızlı hissettiriyor. Ama ChatGPT uygulamasıyla karşılaştırıldığında, gpt-oss resmen sürünüyor. gpt-oss’in tam teşekküllü ChatGPT deneyimine göre parladığı tek bir alan var: gizlilik. Yavaş olmasına rağmen, sorduğum hiçbir sorunun OpenAI’a veya başka birine gönderilmiyor olması takdire şayan. Tüm işlemler yerel olarak Mac’imde gerçekleşiyor, bu yüzden bu sohbet robotunu kullandığım her şeyin özel kalacağından emin olabilirim.

Sadece bu bile, ne zaman içimden yapay zeka kullanmak gelse MacBook Pro’mdaki Ollama’ya yönelmem için iyi bir neden olabilir. iMac’imde ise buna katlanabileceğimi sanmıyorum, belki 90’lardaki çevirmeli bağlantı günlerini yâd etmek istersem o başka. Ama eğer kişisel makinen oldukça güçlüyse —diyelim ki Pro veya Max çipli ve 32GB ya da daha fazla RAM’e sahip bir Mac— bu, her iki dünyanın da en iyisi olabilir. gpt-oss-20b’nin bu tür bir donanımda nasıl bir performans sergilediğini görmeyi çok isterdim. Şimdilik, yavaş ve özel olanla idare etmek zorundayım.

---

Peki sen hiç yerel yapay zeka modeli denedin mi? Hız mı, gizlilik mi senin için daha önemli? Hadi, yorumlarda buluşalım! Bu deneyi ilginç bulduysan arkadaşlarınla paylaşmayı unutma.