Como aprendín a deixar de preocuparme e a ler aos utilitaristas
Fai moito tempo, nunha galaxia moi, moi lonxana, o escritor deste blog estudaba BUP e COU nun instituto. Unha das moitas cousas que descubrín daquela é que me gustaba bastante a filosofía, mais nunca chegamos a afondar moito nela, especialmente en ética (había unha materia con ese nome, pero estaba reservada para o alumnado cuxos pais non querían que os seus fillos estudasen relixión católica). Na universidade, cursei un par de materias —unha sobre pensamento medieval, outra sobre filosofía anglosaxona— pero ámbalas dúas foron moi curtas e de foco moi limitado. Pola miña conta lin algúns libros, pero ningún de ética ou moralidade. Esta fenda no meu coñecemento viuse agravada pola miña longa adesión ao comunismo, que durou desde a adolescencia ata ben entrada a trintena. A postura moral subxacente (implícita nos textos fundacionais e explícita na práctica histórica) do Marxismo considera que a ética non é máis ca unha pantalla ideolóxica ao servizo dos intereses de clase, e que os fins (liberar a humanidade da opresión) xustifican calquera medio, incluíndo o asasinato en masa e o terror.
Cando por fin me liberei do meu soño dogmático, balanceeime como un péndulo cara ao extremo oposto, desenvolvendo fortes inclinacións deontolóxicas e visións ríxidas (que sigo mantendo subxectivamente) sobre a dignidade humana, os dereitos e a liberdade como cousas inviolables, así como un profundo desprezo visceral por calquera argumento do tipo “os fins xustifican os medios”. Tamén teño unha devoción case relixiosa pola pescuda da verdade como un absoluto que debe ser cultivado inflexiblemente. Así que, cando finalmente comecei a ler e pensar seriamente sobre ética, hai uns tres anos, as miñas predisposicións facíanme pouco receptivo cara a tradición anglosaxona do Utilitarismo, dado que o pouco que me chegaba dos contidos desta escola ética en resumos e polémicas parecíame amoral, as súas conclusións contraintuitivas, e a súa dependencia de experimentos mentais estraños desacougante. Con todo, o meu interese crecente e o contacto co Altruísmo Efectivo obrigáronme a darlle unha oportunidade intelectual seria (un podería queixarse, quizaves, de que lle adiquei demasiada atención: antes de ler este libro, xa lín a varios dos seus pensadores principais: Singer, Mill, MacAskill, Ord e o curso introdutorio de AE (mentras que aínda non topei tempo para ler as reflexións éticas de Kant ou Aristóteles).
Este camiño de investigación ética transformou algúns dos meus puntos de vista . Aínda me parecen desagradables e quizaves erróneas as ideas principais das teorías consecuencialistas (o Utilitarismo cae dentro desta familia), pero xa agora teño unha visión máis completa e correcta do que propoñen, das súas ventaxas e desventaxas. E o libro que comento hoxe xogou un papel importante nesta mudanza.
O libro
An Introduction to Utilitarianism: From Theory to Practice é un volume máis ben curto (uns 225 páxinas de lectura) de Richard Yetter Chappell, Darius Meissner e William MacAskill. Pódese ler de balde en liña, pero eu prefiro as copias física porque a filosofía require moita reflexión, e non atopo as pantallas de ordenador axeitadas para unha lectura atenta. O libro pretende ofrecer unha visión máis matizada e detallada do utilitarismo ca a que adoitan dar os cursos universitarios introdutorios de ética, cun foco forte nas aplicacións prácticas e na resposta aos argumentos máis comúns contra o utilitarismo. A primeira parte (capítulos 1 a 8, Utilitarianism Explained) trata o primeiro, a segunda parte (capítulos 9 a 18, Objections and Responses) o segundo, e as aplicacións prácticas aparecen ao longo de todo o libro, aínda que de forma máis clara nos capítulos 6 e 7. Hai tamén unha conclusión que recolle todo (e moitos capítulos inclúen un resumo moi útil), así como unhas notas de estudo sobre o libro “Famine, Affluence and Morality” de Peter Singer ao final.
O que me gustou
O primeiro que cómpre destacar é que este libro sería un manual excelente para a materia. Está moi ben escrito, sen moita retórica inútil, aclara a terminoloxía técnica cando é preciso e consiste en capítulos curtos e doados de ler. O único que podería faltar para a súa aplicación didáctica son exercicios para cada tema.
Tamén ofrece unha visión realmente matizada das distintas variantes da ética consecuencialista, explicando os principios comúns e as diverxencias. Refuta con eficacia moitos dos argumentos máis simplistas contra o consecuencialismo, sen caer en caricaturas nin facer ver que a ética é algo sinxelo con solucións triviais. Eu diría que é difícil ler este libro e seguir dubidando da honestidade intelectual dos seus autores. Unha das ideas máis iluminadoras é a distinción entre o utilitarismo como criterio de avaliación moral fronte ao seu uso como procedemento de decisión práctica.
Tamén me gustou moito a forma en que se presentan os argumentos nos capítulos de Obxeccións e Respostas. Os autores ofrecen un “menú” de respostas: un pode aceptar que a obxección e a intuición da que nace teñen certa validez (e tentar incorporalas dentro do marco utilitarista) ou rexeitalas, o que adoita facerse a través dun enfoque tripartito: intentar desmontar a intuición, mostrar que as teorías rivais non dan mellores solucións ou simplemente “morder a bala”, é dicir, aceptar que en casos estremos e estraños o utilitarismo pode ofrecer respostas moi contraintuitivas e desagradables, pero que poderían ser correctas —por desgraza, non está nas nosas mans escoller ou reducir a rareza do mundo en que vivimos.
O que non me gustou
Unha cousa que agardaba e que botei en falta foi unha xustificación de por qué deberiamos aceptar os axiomas utilitaristas dende o comezo. Os autores presentan certas intuicións como se fosen evidentes (non podes fiarte das intuicións morais, temos un mal historial con elas…), que a min non mo parecen, e que ademais asumen implicitamente o realismo moral como dado (algo que eu non comparto; de feito, para min o que parece obvio é o antirrealismo moral). Non creo que isto sexa culpa do libro: seguramente necesito abordar algún tratado grande de metaética, pero isto crea un problema na lectura: teño a sensación de que os autores demostran unha boa coherencia lóxica, dadas as súas premisas, pero eu simplemente non comparto moitas delas.
O capítulo 5, sobre ética da poboación, é bastante denso (creo que é culpa do tema, non dos autores) e, de novo, resulta difícil atoparlle sentido se non estás xa asumindo un marco consecuencialista. Isto aplícase a moitos dos capítulos de obxeccións: tratan sobre como xestionar as críticas partindo de que xa es utilitarista/consecuencialista.
Podería seguir facendo algunhas críticas máis puntuais, como certos contraargumentos que non me convenceron, pero isto é o esperable nun libro sobre moral. Como din os autores, a ética é difícil e nada trivial, así que os desacordos non son un defecto, senón unha característica. Unha vez máis: non escollemos a rareza do mundo, nin a dificultade de comprender certos aspectos del. E, se queres ver as miñas notas máis específicas, irei publicándoas por capítulos na miña bitácora en inglés.
Conclusión
Este libro non me convenceu nin me transformou nun utilitarista, pero fixo algo máis importante: fíxome pensar, e fíxome tomar en serio o utilitarismo, non como unha caricatura de frialdade moral ou fanatismo matemático, senón como un intento sincero e reflexivo de abordar a complexidade da vida ética. Aínda non acepto as premisas, pero agora recoñezo a coherencia interna e a ambición moral do sistema. Para quen, coma min, tende a rexeitar instintivamente o lema de “o maior ben para o maior número”, Chappell e compañía ofrecen unha invitación sorprendentemente humana e intelectualmente honesta a reconsiderar a miña postura.
O libro, como dicía ao principio, pode mercarse en formato físico pero tamén está dispoñible online, e conta cunha tradución ao español, que se pode consultar aquí.
Por que facer unha recensión dun clásico moderno?
Chamarlle a O xen egoísta de Richard Dawkins un éxito é unha subestimación mesmamente cómica. É un libro que conta con incontables edicións, foi traducido a numerosos idiomas, xerou unha avalancha de recensións profesionais e afeccionadas, provocou debates e controversias duradeiras, e inspirou desde entradas da Wikipedia ata vídeos explicativos en YouTube —incluíndo unha lista de reprodución animada que resume cada un dos seus 13 capítulos. Con tanta literatura crítica xa dispoñible, é razoable preguntarse: por que engadir unha recensión máis?
Teño dúas respostas —como cumpre ao libro en cuestión, unha egoísta e outra altruísta.
A razón egoísta é que escribo recensións principalmente para min mesmo, como un tipo de aide-mémoire. A memoria humana é notoriamente inconstante, e o acto de facer unha recensión obrígame a destilar o que aprendín, o que me pareceu valioso (ou non), e o que paga a pena revisitar. Cando unha versión futura de min mesmo se pregunte qué lembra de O xen egoísta —e se merece ou non unha relectura— poderá acudir ás impresións do seu eu máis novo (e seguramente tamén máis parvo). É unha especie de CPU externa, e bromas aparte, unha cuxos xuízos probablemente aínda entenderá, e quizais mesmo compartirá.
A razón altruísta é que as recensións poden ser útiles para outros —sobre todo para aqueles con gustos, valores ou curiosidade intelectual semellantes— que están a decidir se un libro merece o seu tempo.
Con isto en mente, esta recensión non se deterá nos contidos detallados do libro, que son doadamente accesibles noutros lugares. No seu lugar, comezarei cun breve resumo das súas ideas centrais, seguido dunha análise máis subxectiva do que atopei interesante, valioso ou sorprendente en O xen egoísta.
En poucas palabras
O xen egoísta presenta unha visión da evolución centrada nos xens. En vez de considerar que a selección natural actúa principalmente sobre os organismos ou as especies, Dawkins sostén que opera a nivel dos xens, os cales usan os organismos como “máquinas de supervivencia” para propagarse. Os xens que se replican mellor tenden a aumentar a súa frecuencia co paso das xeracións, non porque beneficien ao grupo ou á especie, senón porque superan aos xens rivais. Esta perspectiva axuda a explicar non só condutas obvias como a supervivencia e a reprodución, senón tamén fenómenos aparentemente paradoxais como o altruísmo. Por exemplo, a selección de parentes mostra como certos xens poden promover condutas altruistas se benefician a parentes próximos que probablemente compartan eses mesmos xens.
Ao longo do libro, Dawkins enfatiza que chamar “egoístas” aos xens é unha metáfora: non significa que teñan intencións, senón que os seus efectos pódense modelar como se buscasen replicarse. Explora conceptos como replicadores e vehículos, os memes como análogos culturais dos xens, e as estratexias evolutivamente estables (ESS) no contexto da teoría de xogos. Cara ao final, Dawkins aborda o comportamento e a moralidade humanas, recoñecendo que, aínda que estamos moldeados por xens egoístas, non estamos obrigados a obedecelos. Pola contra, a través da reflexión consciente e a cultura, os humanos poden rebelarse contra a súa programación xenética e escoller valores que trascenden os imperativos puramente evolutivos.
Pensamentos egoístas
Este é o segundo libro que leo de Richard Dawkins —o primeiro foi The Greatest Show on Earth, que collín hai máis dunha década. Non adoito ler moita bioloxía —nin divulgativa nin técnica— e os meus intereses científicos inclínanse máis cara ás matemáticas (obviamente!) e os recunchos máis inútiles e abstractos da física. Aínda así, penso que calquera persoa culta debería ter unha comprensión básica de todo o coñecemento científico. E ademais, Dawkins é un autor agudo e entretido, o que sen dúbida axuda.
Non me era totalmente descoñecida a tese central de O xen egoísta: como profesor de inglés para adultos, cheguei a preparar un par de actividades de comprensión oral con vídeos de Dawkins (e a lectura anterior foi grazas á biblioteca da escola). Mesmo así, sorprendeume o autoevidente e pouco polémico que soaba o seu argumento. Sospeito que isto se debe a que xa comparto moitas das premisas de base de Dawkins —e a que absorvín moitas desas ideas, memeticamente falando, de libros e pensadores inspirados por ou próximos a O xen egoísta. Algunhas desas crenzas inclúen:
Que o mundo natural, incluíndo a vida e a mente, pode explicarse sen recorrer a forzas sobrenaturais.
Que a ciencia ofrece unha lente poderosamente única para comprendernos a nós mesmos e ao mundo.
Que a verdade importa máis ca o consolo, e que debemos seguir as evidencias onde nos leven, mesmo se o resultado é a desilusión.
Que os seres humanos non somos o centro do universo, senón un produto continxente de procesos evolutivos cegos.
Que a razón, o escepticismo e a claridade de pensamento son virtudes intelectuais que debemos cultivar e defender.
Que a cultura, como a bioloxía, evoluciona —ás veces de xeito irracional— e pode ser estudada e criticada do mesmo xeito.
Que é posible —e desexable— que os humanos transcendan a súa programación biolóxica mediante a reflexión, a cultura e a deliberación.
O libro resultou bastante polémico no momento da súa publicación. Dawkins atribúe boa parte da reacción negativa a unha mala interpretación do título, así como ás ansiedades sociais e intelectuais que adoitan aparecer sempre que a teoría evolutiva se aplica ao comportamento humano e ás diferenzas entre persoas. Estas ansiedades non son infundadas —aínda vivimos á sombra do darwinismo social e das súas consecuencias nos séculos XIX e XX— pero claramente tamén poden levarse demasiado lonxe, como no caso do lisenkismo: o rexeitamento soviético da xenética como unha “pseudociencia burguesa e fascista”.
No tocante ao altruísmo, hai unha tensión máis profunda e persistente que remite ás clásicas obxeccións relixiosas ao ateísmo —nomeadamente, a idea de que “se Deus non existe, todo está permitido”. Isto segue a atormentar a moitos humanistas, que, con frecuencia e de xeito incómodo, senten a necesidade de defender a existencia de verdades morais obxectivas nun universo sen deuses. Desde esa perspectiva, as explicacións biolóxicas do altruísmo supoñen un desafío real: ofrecen unha interpretación máis sinxela e parsimoniosa de como puido xurdir o comportamento altruísta, non só nos humanos senón no conxunto da vida —sen necesidade de invocar ningunha orde moral transcendente.
Persoalmente, non teño ningún problema con esta visión. Como Dawkins, argumentaría que o interese propio —xa sexa a nivel do individuo ou do xen— non presenta ningún problema intrínseco. Ao contrario, proporciona unha base sólida para unha ética racional e auto-interesada, na cal os individuos buscan maximizar o seu propio florecemento e, secundariamente (e de xeito instrumental), o do seu grupo. Esta liña de pensamento, unha vez refinada e formalizada, leva de forma natural cara á tradición contractualista que vai dende Thomas Hobbes ata David Gauthier. Pero mesmo se un considera isto insuficiente ou pouco atractivo, nada impide que os humanos usen a razón e a imaxinación para articular sistemas éticos alternativos máis benévolos —mesmo na ausencia de calquera fundamento moral obxectivo. Os matemáticos aprenderon a convivir coas implicacións desconcertantes da incompletude no século XX; os filósofos e humanistas tamén poden aprender a vivir coa incerteza moral.
En cada familia extensa, adoita haber un personaxe inesquecible: o tío de lingua afiada e ollada cansa, que xa viu pasar demasiadas modas xuvenís e que monopoliza as comidas familiares cos seus interminables discursos á vista e oído de todos. Mais tras a súa rudeza agóchase algo raro: unha sabedoría profunda, duramente conquistada, sobre as realidades do mundo —realidades que a miúdo o noso cinismo ou inxenuidade finxen ignorar. Ler How the World Really Works de Vaclav Smil é coma escoitar ese tío, pero en forma de libro: rudo, directo, sabio e fondamente iluminador.
Cheguei a este libro a través dunha recomendación no club de lectura en liña de Altruismo Eficaz. O seu título captou a miña atención de inmediato, pero cando o collín non tiña idea de quen era Vaclav Smil. Imaginaba un autor moito máis novo e descoñecía por completo a súa profunda experiencia en enerxía, medio ambiente, alimentación, demografía, economía, historia e políticas públicas —ou que era un dos escritores favoritos de Bill Gates. Porén, esa ignorancia resultou irrelevante, porque só unha cousa resultou esencial: a súa pericia. E o libro encárgase de confirmala con creces.
O libro en resumo
How the World Really Works é o intento de Vaclav Smil de achegar os lectores ás realidades materiais que sustentan a civilización moderna: a enerxía que consumimos, os alimentos que producimos, os materiais que fabricamos e o medio do que dependemos. A súa tese central é simple pero devastadora: o noso xeito de vida está baseado nos combustibles fósiles e en catro piares insubstituíbeis (amoníaco, aceiro, formigón e plásticos), e calquera discusión seria sobre o futuro debe comezar recoñecendo a súa centralidade e insubstituibilidade actual. Cun rigor empírico considerable e un chisco de humor sarcástico, Smil expón os feitos que avalan a súa tese e desbota a demagoxia e a ignorancia da maioría dos xornalistas e políticos, así como as "mentiras pola ciencia" e as fantasías tecnoutópicas ou ecoloxistas de transición rápida ou colapso apocalíptico. O libro non é un chamamento á desesperanza nin ao triunfalismo, senón que pretende ser unha base sólida e sobria para comprender as realidades científicas básicas de cómo a vida moderna é realmente complexa, inercial e dependente de recursos.
Capítulo a capítulo
Capítulo 1: A enerxía é fundamental pero escorregadía
Smil comeza mostrando que a enerxía, aínda que esencial para a civilización, segue sendo mal comprendida. A vida moderna depende esmagadoramente dos combustibles fósiles, non só para a enerxía, senón tamén para materiais críticos, sendo os hidrocarburos densos insubstituíbeis. A electricidade, malia a súa versatilidade, non pode almacenarse a gran escala, o que complica unha dependencia total das renovábeis. Smil pide unha alfabetización enerxética, advertindo que o optimismo inxenuo sobre a descarbonización ignora enormes limitacións físicas e sistémicas.
Capítulo 2: Comprender a produción de alimentos: comer combustibles fósiles
O autor amosa como a produción de alimentos, dende a recolleita á agricultura, fixo posíbel a civilización pero segue atada aos combustibles fósiles. A agricultura moderna depende de fertilizantes sintéticos, mecanización e insumos enerxéticos; sen eles, non poderiamos alimentar nin sequera á metade da poboación actual. Aínda que a intensificación superou de momento os temores maltusianos, os custos ambientais e as ineficiencias seguen a ser altos. Smil insiste en que non é realista un regreso rápido á agricultura ecolóxica ou ao veganismo masivo: só son posíbeis melloras graduais e adaptacións pragmáticas.
Capítulo 3: Comprender o noso mundo material: os catro piares da civilización moderna
Smil desmonta o mito dunha economía "desmaterializada", amosando que a vida moderna depende de fluxos masivos de amoníaco, aceiro, formigón e plásticos, todos eles producidos con procesos intensivos en combustibles fósiles. Estes catro materiais alimentan, acollen e sosteñen a miles de millóns de persoas, sen alternativas verdes escalábeis á vista. Os avances dixitais, advirte, non poden substituír os alicerces materiais duros dos que a civilización segue dependendo.
Capítulo 4: Comprender a globalización – Motores, microchips e máis alá
A globalización é descrita como un fenómeno humano e histórico, non como unha forza inevitable. A globalización moderna acelerouse coas tecnoloxías do século XX e coa apertura política, culminando co espectacular ascenso de China. Mais Smil advirte de que as fendas (económicas, sociais e de seguridade) xa son visibles, e o mundo post-COVID amosa sinais claros de que o pico da globalización podería quedar atrás.
Capítulo 5: Comprender os riscos — de virus a dietas e tormentas solares
Smil interpreta a civilización como un longo esforzo por reducir perigos existenciais como a fame, a enfermidade, os accidentes e os desastres naturais. A pesar do enorme progreso, os perigos persisten —e a percepción humana do risco adoita distorsionar os perigos reais. Tamén destaca que os riscos voluntarios son máis tolerados ca os involuntarios, e como os medios amplifican os medos de xeito desproporcionado. A xestión racional do risco require enfrontar os sesgos sen esperar a eliminación dos ameazas raras pero catastróficas.
Capítulo 6: Comprender o medio ambiente: a única biosfera que temos
O capítulo comeza cunha crítica ás fantasías de colonizar outros planetas e cun chamamento a centrar o traballo humano dentro dos límites da Terra. O autor examina tres soportes biosféricos —osíxeno, auga doce e alimentos—, amosando que, mentres o osíxeno permanece estable, os sistemas hídricos e alimentarios enfróntanse a presións crecientes debido ao cambio climático. A pesar dunha comprensión científica clara do quecemento global, as emisións seguen aumentando, e Smil advirte que a descarbonización será lenta, difícil e dependerá de avances tecnolóxicos graduais, non de cambios radicais nin solucións milagrosas.
Capítulo 7: Comprender o futuro: entre o apocalipse e a singularidade
No último capítulo, Smil afirma que o desenvolvemento futuro situarase entre o colapso e o progreso ilimitado, caracterizado por cambios lentos e desiguais. Critica tanto as previsións excesivamente confiadas como os modelos alarmistas, destacando que a evolución real do mundo é imprevisible e está condicionada por restricións estruturais. Os cambios demográficos, as vulnerabilidades sistémicas e o cambio climático ilustran a dificultade dunha acción coordinada a longo prazo. A verdadeira preparación, insiste, require humildade, realismo e rexeitamento tanto das fantasías utópicas como do desespero apocalíptico.
Valoración persoal
How the World Really Works gustoume moito. Aprendín unha chea sobre as realidades enerxéticas e materiais que sustentan a nosa civilización —temas sobre os que previamente só tiña coñecementos vagos ou superficiais. Tamén apreciei a crítica mordaz de Smil a certos grupos polos que non sinto moita simpatía: os veganos militantes, os ecoloxistas do desastre e os utópicos da IA reciben un escepticismo máis que merecido. A maioría dos lectores beneficiaríanse do baño de realidade que ofrece este libro.
Se tivese que sinalar un defecto, sería un moi menor: os tres ou catro primeiros capítulos —os máis ligados á área de especialización directa de Smil— son extraordinariamente detallados, precisos e informativos, mentres que os capítulos finais resultan algo máis mornos e convencionais en comparación. Tamén se lle podería reprochar a Smil certo exceso de conservadurismo ou escepticismo ante os avances tecnolóxicos futuros. Porén, nunha era saturada de 'hype', How the World Really Works resulta unha lectura extremadamente saudábel, especialmente para aqueles que están excesivamente obsesionados co risco existencial asociado á IA.
O libro non conta con tradución ao galego, pero sí hai unha ao español, Cómo funciona el mundo: Una guía científica de nuestro pasado, presente y futuro, publicada por Debate en Febreiro do 2023 e traducida por Francesc Pedrosa Martín.
Introdución
Se algunha vez liches algunha das miñas reseñas, terás notado que, aínda que estou moi interesado nas matemáticas, ese interese non se estende a áreas próximas como a informática ou o machine learning. Isto non cambiou de xeito fundamental nos últimos tempos, mais debido ás miñas interaccións intelectuais cada vez máis frecuentes con certos movementos culturais Anglosaxóns (Altruísmo Eficaz e Racionalismo), sinto a necesidade de comprender ben o que probábelmente sexa o maior atractor para friquis destas comunidades: a o tema da aliñación da intelixencia artificial ás necesidades humanas. Ainda que hai unha chea de literatura dispersa ao respecto (na súa maioría entradas de blogs, mais tamén artigos e algúns vídeos), decidín achegarme ao tema do xeito que me resulta máis natural: a través dun bo e relativamente voluminoso libro que me axude a trazar un mapa dos fundamentos do eido. Foi esta tentativa a que me levou ao libro de Brian Christian The Alignment Problem (O problema da aliñación).
Antes de entrar no contido específico, compre explicar, ainda que sexa de xeito aproximado, en que consiste o problema que da título ao libro. “Aliñación”, en termos xerais, refírese a crear estados de acordo e coordinación que permitan que diferentes elementos (persoas, organizacións, sociedades) poidan traballar de maneira harmoniosa cun propósito común e/ou de xeito coerente entre si. Isto é algo que os humanos facemos constantemente: poderíase dicir que dende que nacemos somos adestrados, de diversas maneiras, para “aliñarnos” co tipo de comportamento aceptado (e agardado) dos distintos círculos sociais aos que pertencemos. E sabemos que este proceso adoita funcionar, ainda que non á perfección: todas as sociedades teñen individuos non aliñados que, moitas veces, rematan no cárcere ou algo peor. Aliñar os humanos cun conxunto compartido de valores e prácticas é difícil: hai quen incluso discute se é posíbel (ou desexábel) a grande escala, o cal suscita cuestións sobre qué sistema de valores deberiamos escoller, se estes poden mudar co tempo, etc.
O problema da aliñación estende este reto aos sistemas de aprendizaxe automática estremadamente potentes que xa creamos no século XXI, así como aos que poderiamos estar a piques de crear, como a IAX (intelixencia artificial xeral), que igualaría ou superaría aos humanos en todos os niveis de traballo cognitivo. Se cres que a IAX é probábel e inminente e que nos superará amplamente en intelixencia, ten sentido preocuparnos sobre como asegurar que farán o que realmente queremos que faga, mesmo cando os nosos obxectivos son difíciles de especificar, poden malinterpretarse ou mudar co tempo (o cal, por suposto, acontece, xa que os humanos somos unha lea evolutiva chea de impulsos contraditorios).
Podedes imaxinar doadamente as consecuencias da desaliñación: máquinas máis poderosas ca nós que nos poderían obrigar a obedecerlas (ou incluso eliminarnos) e/ou escenarios distópicos nos que os humanos quedemos sen poder. E isto pode pasar ainda que logremos codificar e fixar irreversiblemente os obxectivos da IAX (lembrade o conto do O aprendiz de feiticeiro, e o que pode pasar cunha orde formulada de forma ambigua e imposíbel de revogar).
O libro de Christian explora os principais desafíos de aliñar ás máquinas cos valores humanos, desafíos que xa están presentes mesmo cos sistemas relativamente limitados que temos hoxe en día. Para explicalo, tamén ofrece unha historia da investigación sobre a aliñación da IA desde os anos 50 ata hoxe a través das teorías e avances prácticos de científicos computacionais que o autor entrevistou para escribir o libro.
O contido
The Alignment Problem está dividido en tres seccións (Profecía, Actancialidade, Normatividade), cada unha con tres capítulos. A continuación vai un resumo (relativamente) breve de cada un deles, que podes ler ou saltar directamente á conclusión se non che interesa tanto detalle.
Capítulo 1: Representación
Este capítulo traza a historia inicial da aprendizaxe automática e as preocupacións fundamentais encol de modelos que tentan representar o mundo. Christian comeza co perceptrón de Frank Rosenblatt e conecta esta máquina con preocupacións filosóficas sobre a aprendizaxe e a representación. O perceptrón mostrou como as máquinas podían aprender a partir de datos etiquetados, actualizando pesos—un precursor da aprendizaxe supervisada moderna.
Logo explora como os sesgos de representación xorden a partir dos datos escollidos para adestrar os modelos. Examínanse exemplos coma o de ImageNet e as incrustacións de palabras: ImageNet etiquetaba imaxes con termos recollidos por crowdsourcing, reflectindo consensos sociais máis ca verdades obxectivas; as incrustacións como word2vec expoñen sesgos históricos (por exemplo, “home é a programador como muller é a ama de casa”). O capítulo destaca que o comportamento dun modelo depende dos datos cos que foi adestrado—e que mesmo representacións “precisas” poden codificar estereotipos negativos ou desigualdades estruturais.
Capítulo 2: Xustiza
Christian afonda no reto de definir e acadar comportamentos acordes ás nosas nocións de xustiza en sistemas algorítmicos. Céntrase en ferramentas de xustiza criminal como COMPAS, que predí o risco de reincidencia baseándose en indicadores indirectos defectuosos (como taxas de detención, que están sesgadas racialmente). Mostra como estes sistemas perpetúan inxustizas históricas e poden crear bucles de retroalimentación que aumentan algúns encarceramentos de forma inxusta.
Examina distintas definicións matemáticas de xustiza—como calibración, igualdade de oportunidades e paridade demográfica—e sinala que non se poden satisfacer todas ao mesmo tempo, o que leva a unha especie de “teorema de imposibilidade” para a xustiza algorítmica. Christian introduce a proposta de Moritz Hardt de adestrar modelos directamente a partir dos xuízos humanos de xustiza, aínda que isto tamén xera retos de aliñación. O capítulo argumenta que a xustiza non é só un problema técnico, senón profundamente social.
Capítulo 3: Transparencia
Este capítulo aborda a interpretabilidade na aprendizaxe automática e a tensión entre rendemento e comprensión. Christian conta a historia de Rich Caruana, quen adestrou unha rede neuronal para predicir a mortalidade por pneumonía. Aínda que tiña mellores resultados ca modelos máis sinxelos, o programa aprendera unha regra perigosa e opaca: que os pacientes con asma tiñan menor mortalidade (pero isto era porque eran hospitalizados antes). O modelo foi rexeitado a favor dun máis sinxelo e interpretábel.
Christian presenta ferramentas para facer os modelos máis transparentes: árbores de decisión, conxuntos de decisión, mapas de saliencia e vectores de activación de conceptos. Advirte sobre explicacións enganosas—sistemas que manipulan os seus “motivos” sen cambiar o comportamento—e sobre a tendencia humana a confiar en explicacións mesmo cando son erróneas. O capítulo remata suxerindo que a verdadeira transparencia implica facer visíbeis os valores, obxectivos e procesos humanos incrustados nos sistemas, non só o seu funcionamento interno.
Capítulo 4: Reforzo
Aquí, Christian aborda a aprendizaxe por reforzo (AR), que modela como os axentes aprenden a partir de sinais de recompensa no canto de datos etiquetados. Traza a súa evolución desde a Lei do Efecto de Edward Thorndike e os experimentos de B.F. Skinner con ratas e pombas, e os marcos computacionais de Sutton e Barto.
O capítulo explica o problema da asignación de crédito (como saber que accións levaron a unha recompensa), o equilibrio entre exploración e explotación, e a estrutura das funcións de recompensa. Christian destaca a facilidade con que os axentes poden adoptar comportamentos non desexados se as funcións de recompensa están mal especificadas—como o caso do barco simulado por OpenAI que aprendía a xirar en círculos para conseguir máis puntos.
A idea central é que as recompensas son poderosas pero perigosas: se non están deseñadas con coidado, poden levar os axentes a comportarse de xeitos contraproducentes ou incluso catastróficos.
Capítulo 5: Moldeo
Este capítulo explora o “moldeo”—o método de Skinner para adestrar animais en condutas complexas reforzando aproximacións sucesivas. Christian relata como Skinner e os Breland (os seus estudantes) usaron o moldeo para adestrar pombas e logo fundaron unha gran empresa de adestramento animal. O moldeo converteuse nun concepto central do conductismo en psicoloxía.
A continuación, analiza como estes principios son aplicados na aprendizaxe por reforzo e a robótica modernas. A clave está na idea de non especificar metas exactas, senón guiar o proceso de aprendizaxe mediante recompensas intermedias. Porén, xorden problemas cando esas recompensas intermedias se converten no obxectivo da optimización, levando a comportamentos non desexados. Christian destaca que mesmo as recompensas temporais poden descarrilar os obxectivos a longo prazo.
Tamén reflexiona sobre como a evolución e a cultura poden verse como forzas de moldeo dos valores humanos, e suxire que deseñar IA pode requirir unha coidada paciencia semellante: non só importa qué recompensa damos, senón cómo guiamos a aprendizaxe ao longo do tempo.
Capítulo 6: Curiosidade
Este capítulo trata a motivación intrínseca, tanto en humanos como en IA. Christian traza a historia da investigación sobre a curiosidade desde a psicoloxía inicial (por exemplo, os monos de Harlow que resolvían crebacabezas sen recibir recompensas externas) ata a aprendizaxe por reforzo moderna. Explica que en moitos contornas (coma o videoxogo Montezuma’s Revenge), os axentes fracasan sen incentivos de exploración—é dicir, sen recompensas ligadas á curiosidade—porque as recompensas son demasiado escasas.
Os enfoques baseados na curiosidade recompensan os axentes pola novidade e a sorpresa. Algoritmos como a exploración baseada en contadores e os pseudo-contadores axudan aos axentes a explorar con máis eficacia. O autor compara isto coa psicoloxía infantil: os nenos séntense atraídos non só pola novidade, senón tamén pola ambigüidade e a sorpresa—elementos que desafían as súas expectativas.
A idea central é que a curiosidade non é exploración aleatoria, senón un impulso dirixido cara á comprensión; e que as máquinas poderían necesitar mecanismos semellantes para aprender de forma robusta en contornos complexos e reais.
Capítulo 7: Imitación
Aquí entra en xogo a aprendizaxe por imitación, na que os sistemas de IA aprenden a partir de demostracións humanas no canto de recompensas. O capítulo comeza con exemplos da psicoloxía infantil—como mesmo os neonatos imitan expresións faciais—e como a imitación sustenta o desenvolvemento cognitivo temperán.
Na IA, a clonación de comportamento (aprendizaxe supervisada a partir do comportamento experto) pode ser fráxil debido aos erros en cascada: os pequenos fallos acumúlanse porque o axente adéstrase en traxectorias ideais, non nas súas propias experiencias, que adoitan ser máis desordenadas. Técnicas como DAgger abordan este problema permitindo que os axentes aprendan a partir de correccións ao seu propio comportamento, non só a partir de demostracións expertas.
Christian destaca os riscos de asumir simetría entre experto e imitador: as diferenzas de corpo, perspectiva ou contorna poden dificultar o proceso. Tamén distingue entre imitación e emulación, e discute cando copiar funciona—e cando comprender as intencións é máis importante.
Capítulo 8: Inferencia
Este capítulo céntrase na aprendizaxe por reforzo inversa (ARI)—é dicir, aprender cales son os valores de alguén observando o que fai. Christian describe esta técnica como esencial para a aliñación: no canto de dicirlle explicitamente a un axente o que debe optimizar, infire os obxectivos a partir do comportamento do modelo.
Explica as dificultades da ARI: o comportamento non sempre reflicte os valores de maneira transparente. As persoas poden actuar de forma irracional, inconsistente ou baixo limitacións, e distintos sistemas de valores poden producir condutas idénticas. Aínda así, estanse a facer avances: os modelos tentan agora inferir preferencias latentes tendo en conta limitacións, hábitos e mesmo prexuízos.
Christian tamén trata o cooperative inverse reinforcement learning (CIRL), no que humanos e axentes aprenden e infiren obxectivos xuntos, e a modelización da recompensa, na que os sistemas aprenden tanto do comportamento como da retroalimentación avaliativa. Estes enfoques pretenden salvar a distancia entre acción observada e intención real.
Capítulo 9: Incerteza
Christian remata co tema da incerteza, argumentando que a seguridade na IA require que os sistemas recoñezan o que non saben. Contrasta modelos confiados pero fráxiles con aqueles calibrados, robustos e cautelosos ante situacións novas.
Emprega a historia de Stanislav Petrov, que evitou un desastre nuclear ao desconfiar correctamente dun sistema de alertas defectuoso, como parábola de que as IA deben ter humildade epistémica. Entre os temas tratados están os exemplos adversariais, a detección de datos fóra de distribución e a aprendizaxe de categorías abertas—recoñecer que non todo foi visto antes.
Introduce o inverse reward design (IRD), no que os axentes tratan as recompensas como pistas imperfectas sobre as intencións humanas, non como verdades absolutas. O capítulo suxire que a aliñación depende de que os axentes se modelen a si mesmos como falibles e interpreten as ordes de forma reflexiva, non literal.
Conclusión
Este é un libro excelente que cumpre perfectamente o seu propósito: facer que un lector non especialista tome conciencia dos problemas que xorden ao tentar aliñar sistemas mecánicos cos valores humanos. Está moi ben escrito tamén: o autor coñece os instrumentos do oficio e sabe introducir anécdotas interesantes e filtrar a información técnica a través das súas personaxes sen caer nun exceso de tecnicismos (en matemáticas, programación ou enxeñaría) que puidesen desorientar o lector. Isto si, ás veces deixa certas cousas sen explicar que fan que o lector curioso (coma min) quede un pouco abraiado—por exemplo, como é posible crear funcións de utilidade e recompensas (?!?) que unha máquina “sinta” que debe seguir—pero iso non é realmente culpa do libro. Recoméndoo vivamente: aprenderás moito e, ademais, pasaralo ben léndoo.
Ata onde eu sei, o libro non esta traducido ao español ou ao galego, así que terás que botarlle un ollo na língua de Shakespeare (algo que pasa moi habitualmente cos libros que leo).
