Arama butonu
Bu konudaki kullanıcılar: 2 misafir, 1 mobil kullanıcı
1
Cevap
138
Tıklama
0
Öne Çıkarma
OpenAI uyumlu LLM API'mi yaptım: kodlama ve abliterated (sansürsüz) modeller – geri bildirim
A
geçen hafta (1 mesaj)
Er
Konu Sahibi

Merhaba arkadaşlar,

Üzerinde çalıştığım bir yan projeyi paylaşmak ve fikirlerinizi almak istiyorum: Apixo (https://apixoai.online) – OpenAI uyumlu bir LLM API geçidi.

Neden yaptım?
Siber güvenlik geçmişim var. Pentest veya zararlı yazılım analizi yaparken büyük ticari modeller tamamen meşru sorulara bile sık sık "yardımcı olamam" diyor. Açık kaynak tarafında "abliterated" (reddetme mekanizması kaldırılmış) modeller bu soruları cevaplayabiliyor, ama bunları kendin barındırmak hem pahalı hem zahmetli. Ben de hepsini tek bir API'de topladım.

Şu an neler var?
- Kodlama modelleri: örneğin GLM 5.3
- Az reddeden / abliterated (sansürsüz) modeller: örneğin DeepSeek'in abliterated sürümü
- OpenAI uyumlu /v1 endpoint: OpenAI SDK veya OpenCode'da sadece base_url'i değiştirmen yeterli
- Token başına ücretlendirme, resmi fiyatlardan çok daha ucuz
- Web Playground: hiçbir kurulum olmadan direkt sohbet
- Google veya Telegram ile giriş, yeni hesaplara deneme için küçük bir ücretsiz kredi
- Prompt ve cevap içerikleri loglanmıyor

Kendim barındırırken düştüğüm tuzaklar
İlk başta 27B'lik bir GGUF modeli RunPod Serverless üzerinde llama.cpp ile çalıştırmayı denedim. Aynı şeyi deneyenler için:
1. GGUF için llama.cpp kullanın, RunPod'un vLLM worker'ını değil.
2. Gerçek bir OpenAI /v1 yolu sadece "Load Balancer" tipi endpoint'lerde var.
3. Birden fazla kuantizasyon içeren GGUF reposunu "Cached model" alanına koymayın: RunPod tüm repoyu (bende ~180 GB) indirmeye çalışıyor, worker tek satır log bile yazmadan sonsuza kadar "initializing"de kalıyor.
4. llama-server model yüklenirken /health'e 503 dönüyor, RunPod da worker'ı bozuk sayıp yönlendirmeden çıkarıyor. 256K context ile soğuk başlangıç ~5 dakika sürüyor, RunPod ise ~2 dakika bekliyor.
Bu yüzden şu an upstream sağlayıcılar üzerinden çalışıyorum.

Sizden ricam
Proje henüz çok başında:
- Hangi modellerin eklenmesini istersiniz?
- Fiyat veya API kullanımı hakkında önerileriniz var mı?

Denemek isteyenhttps://apixoai.online adresinden bakabilir. Sorusu olan yazsın, hepsine cevap vereceğim.



S
2 gün (1 mesaj)
Er

Apixoai'nin RunPod/serverless tuzaklarını ve token-bazlı fiyatlandırma kararını net yazması işe yarayacak; özellikle upstream sağlayıcılar arasında gecikme ve hata kotasını ölçüp karşılaştırmalı bir tablo sunarsa güven artar. Fiyat ve API kullanımı tarafında küçük ama fişle ölçülebilir bir öneri: anında yanıt gerektirmeyen işleri Batch API'ye devretmek. Sayıyla'da çalışıyorum; 13 Kasım 2026'da Claude Opus 5.5'te yaptığımız ölçümde aynı 5 istek anlık gönderimde 7,8 saniyede biterken toplu işte 1 dakika 49 saniye (109 saniye) sürdü ve maliyet 0,0080 $'tan 0,0040 $'a düştü. Aynı hesap Claude Sonnet 5.5'te 10.000 yorum sınıflandırmasını standart fiyatla 15 $, Batch ile 7,5 $'a indiriyor; yani hız değil fatura kazanılıyor ve OpenAI/Anthropic'te girdi ile çıktı token fiyatı yüzde 50 düşüyor. Batch'i canlı sohbet yerine toplu çeviri/sınıflandırma/etiketleme gibi bekleyebilir işlerde kullanıp, sohbet uçlarında normal /v1 endpoint'i korursan hem stabilite hem maliyet dengesi oturuverir; detayları ve sınır değerlerini (OpenAI: 50.000 istek / batch, Claude: 100.000) https://sayiyla.com/yazilar/openai-ve-claude-batch-api-toplu-islem-indirimi/ yazımızda kaynaklarıyla bulabilirsin.



DH Mobil uygulaması ile devam edin. Mobil tarayıcınız ile mümkün olanların yanı sıra, birçok yeni ve faydalı özelliğe erişin. Gizle ve güncelleme çıkana kadar tekrar gösterme.