Draqon
Aktif Üye
ChatGPT’nin hızlı yükselişine, artık chatbot metinlerini insan metinlerinden ayırmayı amaçlayan araçlarda daha az hızlı olmayan bir büyüme eşlik ediyor. Çünkü artık sadece okullardaki ve üniversitelerdeki öğretmenler bir düğmeye basarak ev ödevlerini nasıl halledeceklerini tartışmıyor. Görünüşe göre dil modellerinin üreticileri bile artık makine tarafından üretilen saçmalıkların olası kitlesel dağılımı konusunda endişe duyuyorlar.
Örneğin OpenAI, GPTZero veya Originality.ai gibi araçlar daha önce bir heyecan yarattıktan sonra, ChatGPT metinlerini tanımak için kendi aracı olan OpenAI AI Metin Sınıflandırıcıyı şaşırtıcı bir hızla piyasaya sürdü.
Makine tarafından oluşturulan metni tanımak için makineleri kullanma fikri gerçekten yeni, ama tam olarak değil. Bununla ilgili bazı bilimsel çalışmalar zaten 2010’ların ortalarında ortaya çıktı. 2019’da OpenAI, şirketin tereddütlü GPT-2 sürümüyle dil modeli hakkında çok fazla yutturmaca yaratmasının ardından ilk yapay zeka algılayıcısını da piyasaya sürdü. Bunu biraz sonra Dev Dil Modeli Test Odası izledi: her iki program da bir metnin GPT-2 tarafından üretilip üretilmediğini açıkça kontrol ediyor.
Ancak ondan sonra ilgi tekrar azaldı. Muhtemelen iki nedenden dolayı: Birincisi, ilk büyük dil modellerinin ilk bakışta bariz olan bariz zayıflıkları vardı. İkincisi, birkaç AI araştırmacısı dışında, hiç kimse soruyla gerçekten ilgilenmiyordu. Bu artık değişiyor.
ChatGPT ve Co.’yu tespit etmeye yönelik araçlar nasıl çalışır?
Nispeten bariz bir fikir, bir sinir ağını sınıflandırıcı olarak kullanmaktır: Ağı, tipik makine metninin nasıl göründüğünü ve insan metninin nasıl göründüğünü öğrenmesi için yeterli örneklerle eğitmeniz yeterlidir: Open’dan GPT-2 Çıktı Dedektörü Demosu AI bu prensibe göre çalışır: Dedektör, GPT-2’den örneklerle eğitilmiş RoBERTa modelinin bir uygulamasıyla çalışır.
Dev Dil Modeli Test Odası, varyasyonlarda tekrar tekrar kullanılan farklı bir ilke kullanır: yazılım, bir sonraki kelimenin ilgili dil modeli tarafından tamamlanma olasılığını kelime kelime hesaplar. Yüksek olasılıklı kelimeler daha sonra arayüzde yeşil renkle, olası olmayan kelimeler kırmızı renkle ve çok nadir kelimeler mor renkle renklendirilir. Bu şekilde, bir metnin, modelin tabiri caizse “genellikle düşünmediği” alışılmadık kelimeler içerip içermediği ilk bakışta görülebilir.
Nispeten yeni olan DetectGPT aracı, tüm cümle düzeyinde bu yöntemin akıllı bir varyasyonunu kullanır: araç, bir dil modelinin – bu durumda GTP-3’ün – bir cümle üretme olasılığını hesaplar. Daha sonra, anlamın değişmemesi için cümleyi birkaç kez yeniden ifade eder ve yeni olasılıkları hesaplar. Orijinal cümlenin olasılığı, değiştirilen cümlelerin olasılığından büyükse, bu bir dil modelinin ürünüdür. Çünkü harika dil modellerinin yaptığı budur: her zaman birkaç alternatif üretirler ve en yüksek olasılığa sahip olanı, “iyi çıktıya” en yakın olanı seçerler.
Çok abartılı GPTZero da bir metin parçasının olasılığına dayalıdır, ancak ondan sözde “şaşkınlığı” hesaplar. Bu ölçü, bir dil modelinin kalitesini test etmek için NLP’de kullanılır. Basitçe ifade etmek gerekirse bu, bir sonraki kelimenin bir cümlede ne kadar şaşırtıcı olduğunu ifade eden bir sayıdır. İyi bir makine metni çok az kafa karışıklığına sahiptir, insan metni ise daha fazla.
“Bugün hava güneşli ve ılık. Sıcaklık 25 santigrat derece civarında.” düşük düzeyde şaşkınlığa sahiptir. “Güneş ışınlarıyla aydınlatılan gökyüzünün görkemli ihtişamı, bugün 25 santigrat derece ateşli bir görkemle parlıyor.” Öte yandan, orijinal metindeki basit ve anlaşılır sözcüklerin yerini, eğitim verilerinde daha az görünen ve bu nedenle seçilme olasılığı daha düşük olan daha soyut ve şiirsel sözcükler aldığından çok daha yüksek bir şaşkınlık puanı elde eder.
Son olarak, John Kirchenbauer ve meslektaşları, bir tür görünmez filigranı bir metne yakmak için bir yöntem önermektedir. Şu şekilde çalışır: Filigran yazılımı, dil modelinin yalnızca düşük bir olasılıkla seçmesine izin verilen sözcüklerin bir listesini oluşturur – bu nedenle bu, makine metinlerinde daha az sıklıkta ortaya çıkar. Bu listeyi oluşturmak için parametreler – elbette her metin için yeniden oluşturulur – metinle birlikte yayınlanır. Bir test programı, olasılıkların yeterince düşük olup olmadığını hesaplamak zorundadır.
Haberin Sonu
Örneğin OpenAI, GPTZero veya Originality.ai gibi araçlar daha önce bir heyecan yarattıktan sonra, ChatGPT metinlerini tanımak için kendi aracı olan OpenAI AI Metin Sınıflandırıcıyı şaşırtıcı bir hızla piyasaya sürdü.
Makine tarafından oluşturulan metni tanımak için makineleri kullanma fikri gerçekten yeni, ama tam olarak değil. Bununla ilgili bazı bilimsel çalışmalar zaten 2010’ların ortalarında ortaya çıktı. 2019’da OpenAI, şirketin tereddütlü GPT-2 sürümüyle dil modeli hakkında çok fazla yutturmaca yaratmasının ardından ilk yapay zeka algılayıcısını da piyasaya sürdü. Bunu biraz sonra Dev Dil Modeli Test Odası izledi: her iki program da bir metnin GPT-2 tarafından üretilip üretilmediğini açıkça kontrol ediyor.
Ancak ondan sonra ilgi tekrar azaldı. Muhtemelen iki nedenden dolayı: Birincisi, ilk büyük dil modellerinin ilk bakışta bariz olan bariz zayıflıkları vardı. İkincisi, birkaç AI araştırmacısı dışında, hiç kimse soruyla gerçekten ilgilenmiyordu. Bu artık değişiyor.
ChatGPT ve Co.’yu tespit etmeye yönelik araçlar nasıl çalışır?
Nispeten bariz bir fikir, bir sinir ağını sınıflandırıcı olarak kullanmaktır: Ağı, tipik makine metninin nasıl göründüğünü ve insan metninin nasıl göründüğünü öğrenmesi için yeterli örneklerle eğitmeniz yeterlidir: Open’dan GPT-2 Çıktı Dedektörü Demosu AI bu prensibe göre çalışır: Dedektör, GPT-2’den örneklerle eğitilmiş RoBERTa modelinin bir uygulamasıyla çalışır.
Dev Dil Modeli Test Odası, varyasyonlarda tekrar tekrar kullanılan farklı bir ilke kullanır: yazılım, bir sonraki kelimenin ilgili dil modeli tarafından tamamlanma olasılığını kelime kelime hesaplar. Yüksek olasılıklı kelimeler daha sonra arayüzde yeşil renkle, olası olmayan kelimeler kırmızı renkle ve çok nadir kelimeler mor renkle renklendirilir. Bu şekilde, bir metnin, modelin tabiri caizse “genellikle düşünmediği” alışılmadık kelimeler içerip içermediği ilk bakışta görülebilir.
Nispeten yeni olan DetectGPT aracı, tüm cümle düzeyinde bu yöntemin akıllı bir varyasyonunu kullanır: araç, bir dil modelinin – bu durumda GTP-3’ün – bir cümle üretme olasılığını hesaplar. Daha sonra, anlamın değişmemesi için cümleyi birkaç kez yeniden ifade eder ve yeni olasılıkları hesaplar. Orijinal cümlenin olasılığı, değiştirilen cümlelerin olasılığından büyükse, bu bir dil modelinin ürünüdür. Çünkü harika dil modellerinin yaptığı budur: her zaman birkaç alternatif üretirler ve en yüksek olasılığa sahip olanı, “iyi çıktıya” en yakın olanı seçerler.
Çok abartılı GPTZero da bir metin parçasının olasılığına dayalıdır, ancak ondan sözde “şaşkınlığı” hesaplar. Bu ölçü, bir dil modelinin kalitesini test etmek için NLP’de kullanılır. Basitçe ifade etmek gerekirse bu, bir sonraki kelimenin bir cümlede ne kadar şaşırtıcı olduğunu ifade eden bir sayıdır. İyi bir makine metni çok az kafa karışıklığına sahiptir, insan metni ise daha fazla.
“Bugün hava güneşli ve ılık. Sıcaklık 25 santigrat derece civarında.” düşük düzeyde şaşkınlığa sahiptir. “Güneş ışınlarıyla aydınlatılan gökyüzünün görkemli ihtişamı, bugün 25 santigrat derece ateşli bir görkemle parlıyor.” Öte yandan, orijinal metindeki basit ve anlaşılır sözcüklerin yerini, eğitim verilerinde daha az görünen ve bu nedenle seçilme olasılığı daha düşük olan daha soyut ve şiirsel sözcükler aldığından çok daha yüksek bir şaşkınlık puanı elde eder.
Son olarak, John Kirchenbauer ve meslektaşları, bir tür görünmez filigranı bir metne yakmak için bir yöntem önermektedir. Şu şekilde çalışır: Filigran yazılımı, dil modelinin yalnızca düşük bir olasılıkla seçmesine izin verilen sözcüklerin bir listesini oluşturur – bu nedenle bu, makine metinlerinde daha az sıklıkta ortaya çıkar. Bu listeyi oluşturmak için parametreler – elbette her metin için yeniden oluşturulur – metinle birlikte yayınlanır. Bir test programı, olasılıkların yeterince düşük olup olmadığını hesaplamak zorundadır.
Haberin Sonu