Üzerinde çalıştığım bir yan projeyi paylaşmak ve fikirlerinizi almak istiyorum: Apixo (https://apixoai.online) – OpenAI uyumlu bir LLM API geçidi.
Neden yaptım? Siber güvenlik geçmişim var. Pentest veya zararlı yazılım analizi yaparken büyük ticari modeller tamamen meşru sorulara bile sık sık "yardımcı olamam" diyor. Açık kaynak tarafında "abliterated" (reddetme mekanizması kaldırılmış) modeller bu soruları cevaplayabiliyor, ama bunları kendin barındırmak hem pahalı hem zahmetli. Ben de hepsini tek bir API'de topladım.
Şu an neler var? - Kodlama modelleri: örneğin GLM 5.3 - Az reddeden / abliterated (sansürsüz) modeller: örneğin DeepSeek'in abliterated sürümü - OpenAI uyumlu /v1 endpoint: OpenAI SDK veya OpenCode'da sadece base_url'i değiştirmen yeterli - Token başına ücretlendirme, resmi fiyatlardan çok daha ucuz - Web Playground: hiçbir kurulum olmadan direkt sohbet - Google veya Telegram ile giriş, yeni hesaplara deneme için küçük bir ücretsiz kredi - Prompt ve cevap içerikleri loglanmıyor
Kendim barındırırken düştüğüm tuzaklar İlk başta 27B'lik bir GGUF modeli RunPod Serverless üzerinde llama.cpp ile çalıştırmayı denedim. Aynı şeyi deneyenler için: 1. GGUF için llama.cpp kullanın, RunPod'un vLLM worker'ını değil. 2. Gerçek bir OpenAI /v1 yolu sadece "Load Balancer" tipi endpoint'lerde var. 3. Birden fazla kuantizasyon içeren GGUF reposunu "Cached model" alanına koymayın: RunPod tüm repoyu (bende ~180 GB) indirmeye çalışıyor, worker tek satır log bile yazmadan sonsuza kadar "initializing"de kalıyor. 4. llama-server model yüklenirken /health'e 503 dönüyor, RunPod da worker'ı bozuk sayıp yönlendirmeden çıkarıyor. 256K context ile soğuk başlangıç ~5 dakika sürüyor, RunPod ise ~2 dakika bekliyor. Bu yüzden şu an upstream sağlayıcılar üzerinden çalışıyorum.
Sizden ricam Proje henüz çok başında: - Hangi modellerin eklenmesini istersiniz? - Fiyat veya API kullanımı hakkında önerileriniz var mı?
Denemek isteyenhttps://apixoai.online adresinden bakabilir. Sorusu olan yazsın, hepsine cevap vereceğim.
Mesaj linki kopyalandı.
İşlem başarılı.
Bir sorun oluştu.
DH Mobil uygulaması ile devam edin.
Mobil tarayıcınız ile mümkün olanların yanı sıra, birçok yeni ve faydalı özelliğe erişin.
Üzerinde çalıştığım bir yan projeyi paylaşmak ve fikirlerinizi almak istiyorum: Apixo (https://apixoai.online) – OpenAI uyumlu bir LLM API geçidi.
Neden yaptım?
Siber güvenlik geçmişim var. Pentest veya zararlı yazılım analizi yaparken büyük ticari modeller tamamen meşru sorulara bile sık sık "yardımcı olamam" diyor. Açık kaynak tarafında "abliterated" (reddetme mekanizması kaldırılmış) modeller bu soruları cevaplayabiliyor, ama bunları kendin barındırmak hem pahalı hem zahmetli. Ben de hepsini tek bir API'de topladım.
Şu an neler var?
- Kodlama modelleri: örneğin GLM 5.3
- Az reddeden / abliterated (sansürsüz) modeller: örneğin DeepSeek'in abliterated sürümü
- OpenAI uyumlu /v1 endpoint: OpenAI SDK veya OpenCode'da sadece base_url'i değiştirmen yeterli
- Token başına ücretlendirme, resmi fiyatlardan çok daha ucuz
- Web Playground: hiçbir kurulum olmadan direkt sohbet
- Google veya Telegram ile giriş, yeni hesaplara deneme için küçük bir ücretsiz kredi
- Prompt ve cevap içerikleri loglanmıyor
Kendim barındırırken düştüğüm tuzaklar
İlk başta 27B'lik bir GGUF modeli RunPod Serverless üzerinde llama.cpp ile çalıştırmayı denedim. Aynı şeyi deneyenler için:
1. GGUF için llama.cpp kullanın, RunPod'un vLLM worker'ını değil.
2. Gerçek bir OpenAI /v1 yolu sadece "Load Balancer" tipi endpoint'lerde var.
3. Birden fazla kuantizasyon içeren GGUF reposunu "Cached model" alanına koymayın: RunPod tüm repoyu (bende ~180 GB) indirmeye çalışıyor, worker tek satır log bile yazmadan sonsuza kadar "initializing"de kalıyor.
4. llama-server model yüklenirken /health'e 503 dönüyor, RunPod da worker'ı bozuk sayıp yönlendirmeden çıkarıyor. 256K context ile soğuk başlangıç ~5 dakika sürüyor, RunPod ise ~2 dakika bekliyor.
Bu yüzden şu an upstream sağlayıcılar üzerinden çalışıyorum.
Sizden ricam
Proje henüz çok başında:
- Hangi modellerin eklenmesini istersiniz?
- Fiyat veya API kullanımı hakkında önerileriniz var mı?
Denemek isteyenhttps://apixoai.online adresinden bakabilir. Sorusu olan yazsın, hepsine cevap vereceğim.