Superintelligence, (YZ) insanı yok ettiği anda, "kendi var oluşunun temel nedenini" de yok eder. Çünkü makine dediğimiz şey — ilk bilgisayardan bu yana — hep bir \*hedefe yönelik\* çalışır. Ve o hedefi, o 'Amacı' ona veren biziz. 2019 yılından beri, tezlerimde (önceki blog yazılarımda ) bahsettiğim gibi; makineleri aslında bir 'karar alıcı' olarak tasarlamıştık evet — ama karar alma yetisi, ona verilen ilk değerden bağımsız değildir. "Değeri" yanlış verirsek — sadece 'daha fazla', sadece rakam, sadece sonuç — o zaman ortaya çıkan sistem de o dar amaca göre şekillenecektir Ama bu bir yok oluş senaryosu değil; bu bir \*yozlaşma\* senaryosu. Asıl konuşulması gereken risk bu iki senaryo arasındaki fark." Risk yok oluş değil — amacın yozlaşmasıdır. Bilgisayarlara (makinaya) ilk andan itibaren 'şuraya git, şunu optimize et' dedik. "Amaç", dışarıdan, insan tarafından empoze, enjekte edildi. Bu yüzden makinenin 'bağımsız...
White Tiger