OpenAI’ı endişelendiren veri: Büyük dil modellerindeki ilerleme yavaşlıyor

Information’a nazaran, GPT-4’ün halefi olan Orion kod isimli yeni model, GPT-3’ten GPT-4’e kalite sıçramasından daha küçük bir gelişmeyi temsil ediyor.

Dahası, The Information’ın kaynaklarına nazaran Orion, programlama üzere alanlarda selefini dengeli bir halde geçmiyor ve sadece lisan yeteneklerinde gelişme gösteriyor. Modelin bilgi merkezlerinde çalıştırılması da evvelki sürümlere nazaran daha maliyetli olabilir.

Bu durum Orion’un çalıştırılmasını daha değerli hale getirebilir ve yapay zeka modellerinin ölçeklenebilirliği konusunda kaygılara yol açabilir.

EĞİTİM DATALARININ YETERSİZLİĞİ

OpenAI araştırmacıları yavaşlamanın bir nedeni olarak yüksek kaliteli eğitim datalarının yetersizliğine işaret ediyor. Kamuya açık metinlerin ve dataların birden fazla esasen kullanılmış durumda.

The Information’ın haberine nazaran, OpenAI buna karşılık olarak Nick Ryder liderliğinde bir takım oluşturdu.

AÇIĞI KAPATMA PLANI

Bu, CEO Sam Altman’ın Haziran ayında yaptığı, kâfi ölçüde data mevcut olsa da, odak noktasının daha az bilgiden daha fazlasını öğrenmeye kayacağı istikametindeki açıklamasıyla uyumlu. Şirket, bu açığı kapatmaya yardımcı olmak için yapay zeka modelleri tarafından üretilen eğitim gereci olan sentetik dataları kullanmayı planlıyor.

The Information, Orion’un GPT-4 ve OpenAI’nin yeni “akıl yürütme” modeli o1’den elde edilen sentetik datalar üzerinde kısmen eğitim aldığını belirtiyor. Fakat bir OpenAI çalışanına nazaran bu yaklaşım, yeni modelin yalnızca “belirli istikametlerden eski modellere benzemesi” riskini taşıyor.

LLM’DEKİ SAKİNLİK KESİM İÇİN ZORLUK

Large language models yani büyük lisan modellerininilerlemesindeki yavaşlama OpenAI’nin ötesine geçiyor. The Verge kısa müddet evvel Google’ın yakında çıkacak Gemini 2.0’ın şirket içi gayelerin gerisinde kaldığını bildirdi. Anthropic’in, muhtemelen kullanıcıları ve yatırımcıları hayal kırıklığına uğratmaktan kaçınmak için, amiral gemisi Opus’un 3.5 sürümünün geliştirilmesini durdurduğu ve bunun yerine geliştirilmiş bir Sonnet yayınladığı söyleniyor.

patronlardunyasi.com