Yandex Araştırma ekibi, IST Avusturya, NeuralMagic ve KAUST’tan araştırmacılarla işbirliği içinde, büyük dil modelleri için iki yeni sıkıştırma yöntemi geliştirdi: Dil Modelleri için Eklemeli Niceleme (AQLM) ve PV-Tuning. Bu yöntemler birleştirildiğinde, %95 yanıt kalitesini korurken model boyutunda 8 kata kadar azalma sağlar. Kaynakları optimize etmeyi ve büyük dil modellerini çalıştırmada verimliliği artırmayı amaçlayan bu yeni yaklaşımı detaylandıran makale, şu anda Avusturya’nın Viyana kentinde düzenlenen Uluslararası Makine Öğrenimi Konferansında (ICML) sunuldu.
AQLM ve PV-Tuning’in ana özellikleri
AQLM, LLM sıkıştırması için bilgi alımında geleneksel olarak kullanılan toplamsal niceleme yöntemini kullanır. Ortaya çıkan yöntem, aşırı sıkıştırma altında model doğruluğunu korur ve geliştirir, böylece LLM’nin ev bilgisayarları gibi günlük cihazlara uygulanmasını mümkün kılar. Bu, bellek tüketiminde önemli bir azalmaya neden olur. PV-Tuning, model sıkıştırma işlemi sırasında oluşabilecek hataları ortadan kaldırır. AQLM ve PV-Tuning birleştirildiğinde, sınırlı bilgi işlem kaynaklarıyla bile yüksek kaliteli yanıtlar sağlayabilen kompakt bir modelde en iyi sonuçları sağlar.
Yöntemin değerlendirilmesi ve tanınması
Sunulan yöntemlerin etkinliği, LLama 2, Mistral ve Mixtral gibi popüler açık kaynaklı modeller kullanılarak titizlikle değerlendirilmiştir. Araştırmacılar bu büyük dil modellerini sıkıştırdılar ve yanıt kalitesini İngilizce WikiText2 ve C4 kriterlerine göre değerlendirdiler. Modeller 8 kedi ezilmesine rağmen Etkileyici bir %95 Yanıtın kalitesini korumayı başardı.
AQLM ve PV-Tuning’den kimler yararlanabilir?
Yeni yöntemler, özel dil modelleri ve açık kaynaklı LLM’ler geliştiren ve dağıtan şirketler için önemli kaynak tasarrufu sağlıyor. Örneğin sıkıştırma sonrasında 13 milyar parametreye sahip olan Llama 2 modeli artık 4 yerine sadece 1 GPU üzerinde çalışarak donanım maliyetlerini 8 kata kadar azaltıyor. Bu, startup’ların, bireysel araştırmacıların ve LLM meraklılarının her gün kullandıkları bilgisayarlarda Llama gibi gelişmiş LLM’leri çalıştırabilecekleri anlamına gelir.
Yeni LLM uygulamalarını keşfedin
AQLM ve PV-Tuning, modellerin sınırlı hesaplama kaynaklarına sahip cihazlara çevrimdışı olarak dağıtılmasına olanak tanıyarak akıllı telefonlar, akıllı hoparlörler ve daha fazlası için yeni kullanımlara olanak tanır. Bu cihazlara yerleşik gelişmiş LLM’ler sayesinde kullanıcılar, aktif bir İnternet bağlantısına ihtiyaç duymadan metin ve resim oluşturmayı, sesli yardımı, kişiselleştirilmiş önerileri ve hatta gerçek zamanlı dil çevirisini kullanabilirler. Ek olarak, bu yöntemler kullanılarak sıkıştırılan modeller daha az hesaplama gerektirir. 4 kata kadar daha hızlı işe yarayabilir.
Uygulama ve erişim
Dünyanın dört bir yanındaki geliştiriciler ve araştırmacılar GitHub’da bulunan AQLM ve PV-Tuning’i kullanabilir. Geliştiriciler tarafından sağlanan tanıtım materyalleri, çeşitli uygulamalar için sıkıştırılmış LLM’lerin etkili bir şekilde eğitilmesi için rehberlik sunar. Ek olarak, geliştiriciler bu yöntemleri kullanarak sıkıştırılmış popüler açık kaynak şablonlarını indirebilirler.
ICML’de sunuldu
Yandex Research’ün AQLM sıkıştırma yöntemine ilişkin bilimsel makalesi, dünyanın en prestijli makine öğrenimi konferanslarından biri olan ICML’de yayınlandı. IST Avusturya’dan araştırmacılar ve yapay zeka girişimi Neural Magic’ten uzmanlarla birlikte hazırlanan bu çalışma, LLM sıkıştırma teknolojisinde önemli bir ilerlemeyi temsil ediyor. Kaynak: (guzelhaber.net) Güzel Haber Masası
—–Sponsorlu Bağlantılar—–
—–Sponsorlu Bağlantılar—–