Açık ağırlıklı bir dil modelini kendi altyapınızda çalıştırmak kulağa basit gelir: ağırlıkları indirin, bir sunucu başlatın, uygulamanızı ona bağlayın. Uygulamada karar lisansı, donanımı, güvenliği ve operasyonu birlikte ilgilendirir. Bu kontrol listesi soruları sırayla ele alır; böylece kendi altyapınızda çalıştırmaya yalnızca kullanım senaryonuza gerçekten uyduğunda karar verirsiniz.
Yazı CTO'lara, kurucu ve mühendislik liderlerine yöneliktir. Model adı, sürüm ve fiyat bilerek verilmez, çünkü bunlar değişir, karar süreci ise aynı kalır. Güncel bir açık ağırlıklı sürümün nasıl okunacağına dair örnek için Qwen 3.8 nedir yazımıza bakabilirsiniz.
Açık ağırlıklı, açık kaynak demek değildir: önce lisansı okuyun
Açık ağırlıklı bir model, eğitilmiş parametrelerini yayımlar ve siz onları kendiniz çalıştırabilirsiniz. Bu, kodun, verinin ve serbest bir lisansın birlikte sunulduğu geleneksel açık kaynaktan farklıdır. Açık ağırlıklı sürümlerin çoğu özel lisanslarla gelir ve indirme sayfasındaki etiket neye izin verildiğini söylemez.
Mühendislik işine başlamadan önce lisansı okuyun. Şu noktaları kontrol edin:
- Ticari kullanıma izin var mı, kullanıcı sayısına veya ciroya bağlı sınırlar var mı?
- Kullanım alanlarına ya da çıktıların başka modelleri eğitmek için kullanılmasına kısıtlama var mı?
- Atıf veya isimlendirme zorunluluğu var mı, ince ayar yapılmış türevler aynı şartları taşımak zorunda mı?
- Lisans ağırlıkları mı, kodu mu, ikisini mi kapsıyor ve gerçekten indirdiğiniz sürüm için mi geçerli?
Lisans sizin durumunuz için belirsizse, inşa etmeden önce hukuk danışmanına sorun. Müşterilerinize sunamayacağınız bir model, ne kadar iyi çalışırsa çalışsın aday değildir.
Kullanım senaryosunu tanımlayın ve değerlendirme seti hazırlayın
Modeli görevi tanımladıktan sonra seçin, öncesinde değil. Sistemin ne yapması gerektiğini, kabul edilebilir cevabın neye benzediğini, kullanıcıların hangi gecikmeye katlandığını ve yanlış cevabın maliyetini yazın.
Ardından kendi verinizden küçük bir değerlendirme seti (eval) oluşturun: gerçek sorular veya belgeler, alanı bilen biri tarafından yazılmış beklenen çıktılar ya da puanlama kuralları. Bu seti prompt yazımında veya ince ayarda kullandığınız verilerden ayrı tutun ve zor, belirsiz örnekleri de ekleyin. Herkese açık sıralamalar bir modelin sizin belgelerinizde, dilinizde ve uç durumlarınızda nasıl davranacağını göstermez.
Aynı seti taban çizgisi olarak barındırılan bir API modeline ve her açık ağırlıklı adaya uygulayın. Modeli, nicemleme düzeyini, prompt'u veya servis yazılımını değiştirdiğinizde seti yeniden çalıştırın. Bu set olmadan bu listedeki sonraki her karar tahmindir.
Donanım, bellek ve nicemleme planı yapın
İlk kısıt genellikle işlem gücü değil bellektir. Hızlandırıcı belleğini üç kalem tüketir: model ağırlıkları, bağlam uzunluğu ve eşzamanlı isteklerle büyüyen anahtar-değer önbelleği (KV cache) ve servis yazılımının yükü. Boşta sığan bir model gerçek trafikte yine de yetersiz kalabilir.
İş yükünüzden geriye doğru hesaplayın: en uzun prompt, eşzamanlı kullanıcı sayısı ve cevap uzunluğu. Formüle güvenmek yerine test makinesinde ölçün ve tepe anları için pay bırakın.
Nicemleme (quantization), ağırlıkları daha az bitle saklar; belleği azaltır ve çoğu zaman üretimi hızlandırır. Karşılığında model, görev ve yönteme göre değişen bir kalite kaybı olabilir. Bunu test edilecek bir değişken olarak ele alın:
- Değerlendirme setinizi düşündüğünüz her duyarlılık düzeyinde çalıştırın.
- Yapılandırılmış çıktıya ve az kullanılan dillere dikkat edin, bozulmanın fark edilmesi daha olasıdır.
- Kalite eşiğinizi geçen en düşük duyarlılığı seçin.
Tek bir modeli birkaç hızlandırıcıya bölmek iletişim yükü ve operasyonel karmaşıklık getirir; bunu yalnızca tek cihaz modeli taşıyamıyorsa kullanın.
Servis katmanını seçin ve verinin nerede duracağına karar verin
Servis katmanı, modeli yükleyip API olarak sunan yazılımdır. Popülerliğe göre değil gereksinimlere göre seçin: model mimarinizi ve nicemleme biçiminizi desteklemesi, sürekli toplu işleme (continuous batching), akış (streaming), uyumlu bir API, gözlemlenebilirlik kancaları ve aktif bakım.
Kendi altyapıda çalıştırma çoğunlukla gizlilik için seçilir, bu yüzden gizlilik iddiasını somutlaştırın. Prompt'ların, çıktıların, logların, önbelleklerin ve yedeklerin nerede durduğunu, kimlerin okuyabildiğini ve ne kadar süre saklandığını haritalayın. Ağınızın içinde çalışan bir model bile ayrıntılı loglar ya da paylaşılan bir vektör deposu üzerinden veri sızdırabilir.
Veri yerleşimi ikinci bir soru ekler: makineler hangi ülkede ve hangi hukuk düzeninde duruyor? Bir sağlayıcıdan GPU kiralıyorsanız veri o sağlayıcının yargı alanındadır; sözleşme şartlarını ve KVKK ya da GDPR gibi düzenlemeleri kontrol edin. Model uç noktasının önüne ilk günden kimlik doğrulama, ağ izolasyonu ve istek sınırı koyun.
Dağıtımı izleyin, güvenceye alın ve güncelleyin
Kendi barındırdığınız model bir üretim servisidir ve bir veritabanı kadar özen ister. Şu sinyalleri izleyin:
- İlk token süresi ve toplam istek süresi, ortalama değil yüzdelik dilimlerle.
- Verim, kuyruk uzunluğu ve hızlandırıcı bellek kullanımı.
- Hata oranları ve zaman aşımları.
- Çıktı kalitesi: gerçek trafikten alınan örneklerin ölçütlerinize göre puanlanması veya insanlarca gözden geçirilmesi.
Güvenliğin modele özgü kısımları vardır. Model çıktısını sisteminizin geri kalanı için güvenilmeyen girdi sayın: yapılandırılmış cevapları doğrulayın, üretilen metnin kontrolsüz komut veya sorgu çalıştırmasına izin vermeyin ve model dış belgeleri okuyorsa prompt injection'a karşı önlem alın. Ağırlıkları yalnızca güvendiğiniz kaynaklardan indirin, sağlama toplamlarını doğrulayın ve yükleme sırasında kod çalıştıramayan biçimleri tercih edin.
Güncellemeyi yayına çıkmadan planlayın. Model ve yazılım sürümlerini sabitleyin, her değişikliği staging ortamında değerlendirme setiyle sınayın, kademeli yayınlayın ve geri dönüş için önceki sürümü hazır tutun. Bu işin sahibini belirleyin.
Maliyeti barındırılan API ile dürüstçe karşılaştırın
Yalnızca GPU'nun saatlik fiyatını sayan karşılaştırma yanıltır. Her iki tarafı da aynı iş yükünden kurun: günlük istek sayısı, ortalama girdi ve çıktı uzunluğu ve tepe eşzamanlılık.
Kendi barındırma tarafına hızlandırıcı kirası veya satın alımı, donanım sizdeyse enerji ve barındırma, kurulum ve nöbet için mühendislik zamanı, izleme, depolama, yedeklilik ve tepe anları arasında boşta ödediğiniz kapasiteyi ekleyin. Barındırılan tarafa gerçek hacminizdeki token başı ücretleri, asgari taahhütleri ve istek sınırlarının ya da kesintilerin etkisini ekleyin.
Kendi barındırma; kullanım istikrarlı ve yüksekse, veri sınırınızdan çıkamıyorsa veya model davranışı üzerinde kontrol gerekiyorsa anlamlı olma eğilimindedir. Barındırılan API; dalgalı veya düşük hacimde, hızlı prototiplerde ve operasyon kapasitesi olmayan ekiplerde öne geçer. Hibrit yaygındır: hassas iş yükleri içeride, kalanı barındırılan serviste. Her iki taraftaki seçenekler değiştiği için düzenli olarak yeniden hesaplayın.
Sıkça Sorulan Sorular
Açık ağırlıklı bir modeli ticari olarak ücretsiz kullanabilir miyim? Otomatik olarak değil. Şartları lisans belirler ve bazıları ticari kullanımı ya da büyük dağıtımları sınırlar. Okuyun ve hukuk danışmanıyla doğrulayın.
Açık ağırlıklı bir modeli çalıştırmak için GPU gerekir mi? Büyük modeller genellikle ağırlıklara ve önbelleğe yetecek belleğe sahip hızlandırıcılar ister. Küçük veya yoğun nicemlenmiş modeller mütevazı donanımda çalışabilir, ancak hız ve kalite değişir; kendi iş yükünüzle test edin.
Nicemleme kaliteyi her zaman düşürür mü? Düşürebilir, ancak etki modele, yönteme ve göreve bağlıdır. Bazı görevler neredeyse değişmez, bazıları belirgin bozulur. Varsaymak yerine değerlendirme setinizle ölçün.
Barındırılan API ne zaman daha iyi bir seçimdir? Hacim düşük ya da öngörülemezse, hızlı prototip gerekiyorsa veya bir model servisini işletip güvenceye alacak ekip yoksa. Uygulamanızı tek bir sağlayıcıya bağımlı tutmayın ki daha sonra geçiş yapabilesiniz.
Kendi altyapıda çalıştırma ile barındırılan API arasında karar veriyorsanız, Detartech yapay zeka çözümleri hizmetiyle değerlendirme, mimari ve devreye alma konularında destek olabilir. Projenizi hızlı teklif formu üzerinden de anlatabilirsiniz.
İlgili Hizmetler
