Birleşik ücretsiz AI modelleri ve yerel API hizmeti için mobil geçit
FreeLLMAPI: Tash A tarafından geliştirilen her AI Model, birçok AI sağlayıcısından ücretsiz erişimi tek bir Android uygulamasında toplar; bu uygulama test, sohbet ve hafif geliştirme için tasarlanmıştır. Bir sohbet arayüzü ve bir mobil API geçidi sunar; bu, birden fazla satıcı hesabını yönetme ihtiyacını ortadan kaldırır. Ana kolaylıklar arasında anında sohbet için anahtarsız erişim ve cihazda özel çalışma bulunmaktadır. Araç, kişisel bir Android cihazında geniş model erişimine ihtiyaç duyan geliştiriciler, öğrenciler ve araştırmacılar için hedeflenmiştir.
Alışılmadık şekilde büyük aylık token kapasitesini havuzlar ve yük altında sürekliliği korur
Geliştiriciye göre, uygulama 29'dan fazla sağlayıcı arasında ayda yaklaşık 4 milyar ücretsiz token toplar ve yönlendirme kararlarına canlı performans metriklerini uygular. Bu havuzlanmış kapasite, geliştiricilere ve araştırmacılara tek bir satıcıya bağımlı olmadan mevcut bir çıkarım bütçesi sağlar. Otomatik bir devre dışı bırakma sistemi, bir modelin oran sınırlı veya meşgul olduğunda sağlayıcıları değiştirir ve yönlendirici, yoğun talep sırasında erişimi uzatmak için sağlayıcılar arasında kullanımı dengeler.
Hızlı prototipleme için yerel bir geliştirme uç noktası olarak hareket edebilir
Premium LAN API sunucu modunda uygulama, bir Android cihazını dizüstü bilgisayarlar ve IDE'ler için OpenAI uyumlu bir uç noktaya dönüştürerek yerel test ve hızlı prototipleme imkanı sunar. Proje ayrıca masaüstü desteği ve macOS, Windows ve Linux için Docker görüntüleri ile açık kaynaklı bir depo aracılığıyla kendi kendine barındırma imkanı sunar, böylece ekipler mobil uç noktayı standart geliştirme makinelerinde yeniden üretebilir ve yerel iş akışlarına entegre edebilir.
Cihaz içi gizliliği ve hassas iş akışları için şifrelenmiş anahtar depolamayı vurgular
Kişisel sağlayıcı anahtarları, AES-256-GCM şifrelemesi ile cihaz anahtar zincirinde depolanır ve uygulama anahtarları yalnızca seçilen sağlayıcılara gönderir, bu da tasarım gereği özel bir duruşu yansıtır. Sohbetler telefonda kalır ve geliştirici analitik veya izleme rapor etmez. Bu yaklaşım, veri ikametinin ve yeniden üretilebilirliğin önemli olduğu testleri destekler ve birden fazla model sağlayıcısıyla deneme yaparken dış telemetriyi kaçınması gereken iş akışlarına uygundur.
Pratik geliştiriciler için en iyisi; tek sağlayıcı, yönetilen iş akışları için ideal değil
Uygulama, özel, cihaz üzerinde test ve karşılaştırmalı çıktılara ihtiyaç duyan geliştiriciler ve araştırmacılar için uygundur, çünkü önemli miktarda ücretsiz jeton erişimini toplar ve mobil bir API uç noktası sunar. Tek bir yönetilen sağlayıcı bekleyen ekipler, çoklu sağlayıcı yapılandırmasının ve Premium sınırlamanın ekstra yapılandırma gerektirebileceğini görebilir. CI ve yeniden üretilebilir testler için, ekip iş akışlarını karşılamak üzere açık kaynaklı Docker yolunu ve yerel uç nokta entegrasyonunu kullanın.
