måndag 27 augusti 2012

Implosion istället för explosion?

Singulariteten, som jag upprepade gånger tagit upp till diskussion här på bloggen, är ett hypotetiskt framtidsscenario där skapandet av en övermänsklig artificiell intelligens (AI) leder till en självförstärkande spiral och en explosionsartad utveckling mot allt intelligentare maskiner, med radikala men extremt svårförutsägbara följder för våra liv och för samhället. Den mest rimliga hållningen i förhållande till det troliga i Singulariteten är enligt min mening än så länge agnosticism. Visserligen är jag, när jag t.ex. läser David Chalmers uppsats The Singularity: a philosophical analysis (plus de många svar han fick, och hans egen sammanfattande rejoinder), böjd att tycka att argumenten för att en Singularitet är trolig (förutsatt att inte en civilisationskollaps av ett eller annat slag hinner före) förefaller starkare än dem emot. Men jag är naturligtvis ändå intresserad av att ta del av argumenten emot.

Ett visserligen starkt spekulativt (i likhet med mycket av diskussionen kring Singulariteten), men ändå intressant, argument för att Singulariteten inte kommer att inträffa, presenterades för en tid sedan av matematikern och författaren David Eubanks i en bloggpost på Institute for Ethics and Emerging Technologies. Ett centralt element i de flesta Singularitets-scenarier är att tillräckligt intelligenta robotar kan ha förmågan att mixtra med sina egen mjuk- eller hårdvara för att på så vis bli ännu intelligentare. Eubanks tar fasta på detta, men med en annorlunda twist, där den tänkta intelligensexplosionen ersätts av något som mer liknar en implosion:
    A robotic mining facility has been built to harvest rare minerals from asteroids. Mobile AI robots do all the work autonomously. If they are damaged, they are smart enough to get themselves to a repair shop, where they have complete access to a parts fabricator and all of their internal designs. They can also upgrade their hardware and programming to incorporate new designs, which they can create themselves.

    Robot 0x2A continually upgrades its own problem-solving hardware and software so that it can raise its production numbers. It is motivated to do so because of the internal rewards that are generated—something analogous to joy in humans. The calculation that leads to the magnitude of a reward is a complex one related to the amount of ore mined, the energy expended in doing so, damages incurred, quality of the minerals, and so on.

    As 0x2A becomes more acquainted with its own design, it begins to find ways to optimize its performance in ways its human designers didn’t anticipate. The robot finds loopholes that allow it to reap the ‘joy’ of accomplishment while producing less ore. After another leap in problem-solving ability, it discovers how to write values directly into the motivator’s inputs in such a way that completely fools it into thinking actual mining had happened when it has not.

Idén att en robot skulle kunna balla ur på detta vis känns inte särskilt kontroversiell. Eubanks bloggpost väcker emellertid frågan om en mycket radikalare möjlighet, nämligen att varje tillräckligt intelligent varelse kommer att bete sig på detta vis.

Varianter av det slags manipulation av det egna belöningssystemet som roboten 0x2A ägnar sig åt är inte okända hos människor, och Eubanks nämner flera exempel. Med hjälp av preventivmedel njuter vi frukterna av det belöningssystem för reproduktion som det Darwinska naturliga urvalet försett oss med, men utan själva reproduktionen. Med kemiska medel eller med hjälp av böcker och filmer försätter vi oss i sinnestillstånd som inte (med de avbildningar som evolutionen försett oss med) korrekt motsvarar hur verkligheten därute är beskaffad. Kanske är den på den inslagna vägen av belöningssystemsmanipulation vår framtid står att finna?

Den amerikanske politiska filosofen Robert Nozick gillade inte den hedonistiska utilitarism enligt vilken maximering av världens totala mängd njutning minus dito mängd lidande är det enda fundamentalt eftersträvansvärda och grunden för den sanna etiken. För att påvisa dess orimlighet föreslog han som ett tankeexperiment den så kallade upplevelsemaskinen. En sådan maskin skickar optimala elektriska signaler (samtidigt som den kopplar bort alla de sinnesstimuli som normalt strömmar in från yttervärlden) direkt in i den mänskliga hjärnan och stimulerar lustcentrum på ett sätt som skänker oss maximal njutning. Hur skulle du, kära läsare, ställa dig till ett erbjudande om att koppla upp dig mot Nozicks upplevelsemaskin (plus dropp och övriga nödvändiga livsuppehållande åtgärder) resten av livet?

Jag tror att de flesta spontant ryggar för ett sådant erbjudande. Nozick säger bestämt nej, och menar att hedonismen därmed måste vara fel ute: det finns annat som är viktigt än den rena njutningsnivån. Men vad är det då som fattas i livet som uppkopplad mot upplevelsemaskinen? Autenticitet! Du må ha aldrig så underbara upplevelser där i uppelvelsemaskinen, men de är ju inte autentiska, inte på riktigt.

När Neo i filmen The Matrix valde det röda pillret istället för det blå, så drevs han av en önskan om autenticitet. Men varför är då autenticitet så viktigt? Begreppet förtjänar att problematiseras (och i detta sammanhang vill jag varmt rekommendera David Chalmers uppsats The Matrix as Metaphysics). Tänk om Nozick har fel, tänk om autenticitet i själva verket visar sig vara betydelselöst, tänk om det enda som egentligen betyder något är den hedonistiska njutningsnivån, och tänk om varje tillräckligt intelligent varelse är dömd att inse detta? Det skulle kunna vara så, och det kan hända att i takt med att vi blir allt intelligentare (något som redan pågår och som kan väntas accelerera), alltmer närmar oss den till synes absurda framtid där hela mänskligheten ligger uppkopplad mot lyckomaskiner, och all annan verksamhet (förutom viss automatiserad kraftförsörjning) ligger nere. Om detta rentav är ett universellt fenomen, så förklarar det den Fermis paradox som jag diskuterat i några tidigare bloggposter.

Låt oss säga att vi råkar ut för att våra klipskaste robotar beter sig som 0x2A i Eubanks scenario. Vi skulle då kunna försöka stävja sådant urartat beteende genom att programmera in en stark preferens för autenticitet i dessa och framtida robotar. Det är emellertid inte självklart att detta fungerar. 0x2A kanske upptäcker att han kan kortsluta även det motivationssystemet genom att helt enkelt ställa sin autenticitetsdetektor på maximum oavsett verklig autenticitetsnivå.

Så tror jag att Eubanks har rätt? Nja, kanske inte. Datalogen, fysikern och mångsysslaren Stephen Omohundro föreslår i sin läsvärda uppsats The basic AI drives att preferens för och bevarande av autenticitet inte bara är något som vi kan programmera in i våra AI:n, utan rentav något som i tillräckligt intelligenta sådana kommer att tendera att upptså spontant. Varken Eubanks eller Omohundro ger några slutgiltigt avgörande argument för sina ståndpunkter, och bådas texter bygger minst lika mycket på spekulation som på rigorösa resonemang, men båda är enligt mening värda att ta på allvar i framtida forskning kring avancerade AI:n och deras motivationssystem.

För ovrigt har xkcd ett helt annat förslag på hur teknikutvecklingen kan komma att stanna upp innan vi når fram till Singulariteten:

Cryogenics

5 kommentarer:

  1. Du har väl inte missat att xkcd börjat med en what-if-sida? Och på tal om singulariteten; http://what-if.xkcd.com/5/

    SvaraRadera
  2. "Hur skulle du, kära läsare, ställa dig till ett erbjudande om att koppla upp dig mot Nozicks upplevelsemaskin (plus dropp och övriga nödvändiga livsuppehållande åtgärder) resten av livet?"

    Jag har uppfattat didaktikernas budskap så att med deras metoder ska man kunna tillägna sig kunskap utan ansträngning. Enligt vissa didaktiker ska skoldagen inte börja förrän eleverna orkat stiga upp någon gång, möjligen på förmiddagen. Så sent som idag hörde jag ett inslag i radions P1 där nya didaktiska rön ansågs tyda på att man kan lära sig saker då man sover.
    Bland didaktikerna skulle det nog finnas många som ville bli kopplade till en sådan upplevelsemaskin. Ännu bättre vore kanske en maskin som försatte dem i Nirvana.

    SvaraRadera
  3. Personligen tror jag inte att det är intelligent att implodera.

    Idag finns det datorer som slår mig på schack, på börsen och på IQ-tester. Jag anser att sådana datorer är korkade. Även om en framtida dator slår mig på varenda tänkbar prestationsuppgift så anser jag att den är korkad. Om den sedan imploderar så måste jag skratta.

    Så vad är intelligens? Jag tror jag frågar Amish. De är knappast främmande för implosiva teorier, men de skulle kalla det för moralisk implosion istället för högintelligent implosion.

    SvaraRadera
    Svar
    1. "Även om en framtida dator slår mig på varenda tänkbar prestationsuppgift så anser jag att den är korkad."

      Oj! Maken till oförblommerad speciesism har jag sällan skådat.

      Om jag avslöjar att jag i själva verket är en robot, kommer du då att förklara mig imbecill?

      Radera
  4. Olle,
    Om du avslöjar att du är en robot så är det hyfsat irrelevant information. Jag ser ingen anledning att tro att robotar vet att de är robotar. Om du tror att du är en robot kanske du är det, men förmodligen inte.

    Vad jag har för uppfattningar brukar jag uttrycka genom ett filter av självkritik och moraliska övervägningar, men i detta fallet blev jag alltför irriterad för att använda något sådant filter.

    Jag är förstås med på att om vi med intelligens menar förmågan att få poäng på IQ-test så finns geniala datorprogram. Några fakta vill jag inte förneka, däremot förnekar jag att en snäv betydelse av begreppet intelligens kan vara användbart i mer generella diskussioner (vilket jag tror nästan alla håller med om).

    Wikipedia skriver följande om intelligens: Intelligence has been defined in many different ways including, but not limited to, abstract thought, understanding, self-awareness, communication, reasoning, learning, having emotional knowledge, retaining, planning, and problem solving.

    Här vore det förstås önskvärt med en mer specifik definition, men jag ser i alla fall ingen anledning att tillskriva datorer någon förståelse, emotionell kunskap, eller självmedvetenhet.

    I det scenario som Eubanks spekulerar i menar jag att datorns förståelse brister. Den löser ett komplext problem, men den löser fel problem. Det enda som åstadkoms genom att implodera är att bli avstängd och bli kastad på soptippen, till skillnad från en varelse som löser reella problem.

    SvaraRadera