fredag 15 december 2017

Litet efterspel till panelen i Bryssel

Sent i lördags eftermiddag (den 9 december) ökade plötsligt trafiken hit till bloggen kraftigt. Den kom mestadels från USA, och landade till större delen på min bloggpost The AI meeting in Brussels last week från förrförra månaden, så till den grad att bloggposten inom loppet av 24 timmar klättrade från typ ingenstans till tredje plats på all-time-high-listan över denna bloggs mest lästa inlägg (slagen endast av de gamla bloggposterna Quickologisk sannolikhetskalkyl och Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna). Givetvis blev jag nyfiken på vad som kunde ha orsakat denna trafikökning, och fann snabbt en Facebookupdatering av den framstående AI-forskaren Yann LeCun vid New York University. LeCun länkar till min Bryssel-bloggpost, och har ett imponerande antal Facebook-följare, vilket förklarar trafikökningen.

Precis som sin AI-forskarkollega Peter Bentley och kognitionsforskaren Steven Pinker - vilka båda deltog i Bryssel-panelen - anser LeCun att alla farhågor om en eventuell framtida AI-apokalyps är obefogade. Hans imponerande meriter som AI-forskare väcker såklart förhoppningar (hos den som läser hans Facebookuppdatering) om att han skall presentera väsentligt bättre argument för denna ståndpunkt än dem som Pinker och Bentley levererade i Bryssel - förhoppningar som dock genast kommer på skam. LeCuns retoriska huvudnummer är följande bisarra jämförelse:
    [F]ear mongering now about possible Terminator scenarios is a bit like saying in the mid 19th century that the automobile will destroy humanity because, although we might someday figure out how to build internal combustion engines, we have no idea how to build brakes and safety belts, and we should be very, very worried.
Vad som gör jämförelsen bisarr är att (åtminstone 1900-talets och dagens) bilar totalt saknar de självreproducerande och rekursivt självförbättrande egenskaper som en tillräckligt intelligent framtida AI enligt många bedömare kan väntas få, vilka är grunden för de potentiellt katstrofala intelligensexplosionsscenarier som diskuteras av bland andra Yudkowsky, Bostrom och Tegmark (liksom i min egen bok Here Be Dragons). Till skillnad mot i AI-scenarierna finns inget rimligt bilscenario där vår oförmåga att bygga fungerande bromsar skulle ta kål på mänskligheten (allt som skulle hända om det inte gick att få till en fungerande bromsteknologi vore att ingen skulle vilja köra bil och att biltillverkningen upphörde). Vad som krävs för att LeCuns jämförelse skall få minsta relevans är att han påvisar att fenomenet med en rekursivt självförbättrande AI inte kan bli verklighet, men han redovisar inte tillstymmelse till sådant argument.

LeCuns Facebookuppdatering bjuder också på en direkt självmotsägelse: han hävdar dels att "we have no idea of the basic principles of a purported human-level AI", dels att...
    [t]he emergence of human-level AI will not be a singular event (as in many Hollywood scenarios). It will be progressive over many many years. I'd love to believe that there is a single principle and recipe for human-level AI (it would make my research program a lot easier). But the reality is always more complicated. Even if there is a small number of simple principles, it will take decades of work to actually reduce it to practice.
Här frågar sig naturligtvis den vakne läsaren: om nu LeCun har rätt i sitt första påstående, hur i hela glödheta h-e kan han då ha den kunskap han gör anspråk på i det andra? Det kan naturligtvis hända att han har rätt i att utvecklingen kommer att gå långsamt, men hans dogmatiska tvärsäkerhet är (i avsaknad av solida argument för att backa upp ståndpunkten) direkt omdömeslös.

Vad som gör LeCuns Facebookuppdatering den 9 december ännu mer beklämmande är att dess text är kopierad från en kommentar han skrev i en annan Facebooktråd redan den 30 oktober. Uppenbarligen tyckte han, trots att han haft mer än en månad på sig att begrunda saken, att hans slagfärdigheter var av tillräckligt värde för att förtjäna ytterligare spridning.

torsdag 7 december 2017

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):
  • Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

    Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

  • Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned och här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

  • Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
      A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

      Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

      To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

  • Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

    Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

torsdag 30 november 2017

Från Bollstabruk till Hägersten

I Mats Jonssons nya serieroman Nya Norrland löper två historier parallellt, för att då och då mötas och knyta ihop boken till en fungerande helhet. Dels har vi historien om den ångermanländska bruksorten Bollstabruks uppgång och fall, dels har vi den om författarens egen tidstypiska kluvenhet mellan samma Bollstabruk i vilket han växte upp och det Stockholm där han hunnit tillbringa halva sitt liv. Båda historierna är påfallande nyansrika. Den första spänner över århundraden men har sitt främsta fokus på 1900-tal och i ännu högre grad nutid, och kan fungera utmärkt som ännu en fallstudie ihop med Po Tidholms briljanta och bredare Norrland: essäer och reportage. I den andra kommer självbiografikern Jonsson fram på nytt - det är just i den rollen som han tidigare gjort sig ett namn. Han tecknar inte vackert, men är en skicklig berättare och beskriver sitt liv med skoningslös (mot sig själv och andra) skaprsynthet. I den nya boken får man (frånsett några barndomsåterblickar) ta del av det skede i hans liv som kan beskrivas som modern medelklassig urban familjefarstillvaro. Livet i 2010-talets Hägersten med dess bostadsrättsföreningar och fria skolval framstår inte som lika dramatiskt som tidigare faser i Jonssons liv, men en viss lättnad är det faktiskt att få veta att han tagit sig dit och att han inte återfallit i det slags mestadels beklämmande kärlekshistorier som skildras i hans tidigare bok Hey Princess.

lördag 25 november 2017

900 grader

Att vinkelsumman i en triangel är 180° känner de flesta till, och ganska många känner nog också till att det bara gäller i det euklidiska planet. I icke-euklidisk geometri (som exempelvis sfärisk) uppstår andra vinkelsummor.

I kaffepausen till en sannolikhetsteoriworkshop tidigare i höstas frågade matematikerkollegan Johan Wästlund mig om jag händelsevis någon gång tänkt på hur stor vinkelsumman som mest kan bli i sfärisk geometri. Det hade jag inte, men då jag blev klar över svaret frågade jag Johan om det möjligen skulle kunna gå att bädda in svaret i en ny text till någon gammal Ebba Grön-låt. Han tände direkt på idén, och återkom till mig några dagar senare med följande text:
    Om du mäter en triangel så blir dess
    vinkelsumma enligt Euklides
    alltid samma, men om du kan kröka
    på själva ytan, kan vinklarna öka!

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Euklides hade fem axiom,
    men sen kom det en astronom
    och sa det femte det kan inte gälla,
    där inga linjer är parallella

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Jag ska förklara om du slutat tro
    Triangelns hörn de har rendez-vous
    på andra sidan, där sfären tar slut
    upp-och-ner, och med insidan ut

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Nio hundra grader...

Och nu har YouTube äntligen begåvats med en inspelning av denna sång! Det är jazzkvartetten Da Möbius band (bestående av matematikerna Mats Andersson, Samuel Bengmark, Torbjörn Lundh och Klas Richardsson) som står för det eminenta framförandet:

tisdag 21 november 2017

Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:
    If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.
Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,1 namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.2 For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

tisdag 14 november 2017

Nya framträdanden i radio och TV

På två dagar har jag nu hunnit medverka i två mediala direktsändningar, där jag fått tillfälle att prata om mänsklighetens famtid och lite av den forskning vi bedrev i det nyligen avslutade GoCAS-gätforskarprogrammet om existentiell risk. De går båda att ta del av i efterhand: I samtalet med Stefan Livh kom jag in på det seminarium i Stockholm med Nick Bostrom och Daniel Dennett som jag avsåg att besöka senare samma dag (vilket också skedde). Den som vill höra vad jag tyckte om seminariet får ge sig till tåls en smula, tills Fri Tanke förlag publicerar (troligen nästa vecka) det poddsamtal jag nyss hade med förlagschefen Christer Sturmark, ett samtal som kom att beröra både Bostrom-Dennett-seminariet och diverse relaterade frågeställningar kring medvetande, artificiell intelligens och existentiell risk.

fredag 3 november 2017

Lidande - en filosofisk läslista

Häromveckan satt jag i en taxi i Bryssel tillsammans med kognitionsvetaren Steven Pinker och filosofen Thomas Metzinger. Vi kom in på frågan om huruvida det är glädjande att vi har medvetanden, eller om detta är något som mest bara för med sig en massa lidande. Att de flesta människor väljer att leva vidare snarare än att ta livet av sig kan peka mot att livet och våra medvetna upplevelser mestadels är något gott, men jag framhöll viss skepsis mot sådan argumentation, ty nog finns det evolutionsbiologiska skäl att anta att oavsett den faktiska hedoniska nivån (uttryckt exempelvis i proportionen välbefinnande kontra lidande) i våra liv, så hittar våra hjärnor ett sätt att få oss att tro att livet är värt att leva. Pinker invände genast att det förefaller omöjligt att missta sig på huruvida man mår bra eller lider, men Metzinger gjorde en ansats att försvara min tankegång. Tyvärr avbröts vi i det läget av att den korta taxiresan tog slut, men han (Metzinger alltså) hänvisade mig senare1 till sin essä Suffering - en läsvärd filosofisk studie av fenomenet lidande, där vår svårighet att rätt bedöma den hedoniska nivån i våra liv är en av flera intressanta poänger som inskärps.

I det två månader långa och nyligen avslutade GoCAS-gästforskarprogrammet i Göteborg om existentiell risk talade vi en hel del om lidande. Det är lätt gjort inom existentiell risk-studier att oreflekterat betrakta mänsklighetens utplåning som det värsta som kan hända, men det kan finnas anledning att ifrågasätta den implicita premissen, till förmån för ståndpunkten att ett ännu värre utfall skulle kunna vara ett scenario där vi lyckas med en intergalaktisk rymdkolonisering men råkar fylla universum med astronomiska mängder svårt lidande. Triggad av diskussionerna i GoCAS-programmet, jämte den avbrutna taxidiskussionen i Bryssel, tänker jag här bjuda på en liten (och föga systematisk) läslista på temat lidande och hur vi bör se på det i moralfilosofiska termer. Inklusion av en text i listan betyder inte att jag ställer mig bakom dess ståndpunkter, utan bara att jag finner dem värda att reflektera över. Varsågoda!
  • Först har vi som sagt Thomas Metzingers uppsats Suffering.
  • En annan filosof, David Benatar, är känd för sin bok Better Never to Have Been: The Harm of Coming into Existence. Jag har (ännu) inte läst boken, men rekommenderar hans färska uppsats Having children is not life-affirming: it's immoral i vilken han argumenterar för den ytterst kontroversiella ståndpunkten att ett människoliv tenderar att föra med sig så mycket lidande att det helt enkelt är omoraliskt att skaffa barn. Följande passage i uppsatsen ansluter till ovan nämnda taxidiskussion:
      The suggestion that life is worse than most people think is often met with indignation. How dare I tell you how poor the quality of your life is! Surely the quality of your life is as good as it seems to you? Put another way, if your life feels as though it has more good than bad, how could you possibly be mistaken?

      It is curious that the same logic is rarely applied to those who are depressed or suicidal. In these cases, most optimists are inclined to think that subjective assessments can be mistaken. However, if the quality of life can be underestimated it can also be overestimated. Indeed, unless one collapses the distinction between how much good and bad one’s life actually contains and how much of each a person thinks it contains, it becomes clear that people can be mistaken about the former. Both overestimation and underestimation of life’s quality are possible, but empirical evidence of various cognitive biases, most importantly an optimism bias, suggests that overestimation is the more common error.

  • En klassiker på Scott Alexanders formidabelt läsvärda blogg Slate Star Codex är bloggposten Meditations on Moloch, som bättre än något annat jag läst visar hur ofantligt svårt det är att skapa och i det långa loppet bevara ett gott samhälle (i betydelsen ett samhälle där invånarna upplever lycka och välbefinnande), och hur starka de evolutionära, ekonomiska och spelteoretiska krafter är som driver på i motsatt riktning. Detta understryker relevansen i framtidsscenarier med astronomiska mängder lidande.
  • Negativ utilitarism (NU) är en moralfilosofisk inriktning som fokuserar på minimering av lidande (och mindre eller inte alls på förbättringar i den andra änden av den hedoniska skalan, ökandet av välbefinnande). Påverkad av Toby Ords eminenta uppsats Why I'm Not a Negative Utilitarian har jag tenderat att avfärda NU, men saken är möjligen inte fullt så enkel som jag tidigare tänkt, och Simon Knutssons kritik av Ord är värd att ta del av (se även Knutssons The World Destruction Argument).
  • Relaterad till NU, men inte samma sak (genom att vara inte ett moralsystem utan snarare en teori om hur vi är funtade) är så kallad tranquilism; se Lukas Gloors uppsats om saken.
Notera slutligen att jag här helt har ignorerat skönlitteraturen, som givetvis har ofantligt mycket intressant att bjuda på i ämnet lidande.

Fotnot

1) Vilket skedde i samband med vårt seminarium i EU-parlamentet dagen efter.