Shopping Basket

 

Libros do Mes

Night Watch de Terry Pratchett [E] 

Flatland de Edwin Abbott Abbott [E] 

How the World Really Works de Vaclav Smil [E] 

The Precipice de Toby Ord 

Pirke Abot de VV.AA. [E] 

*Persuasion de Jane Austen 

*The Selfish Gene de Richard Dawkins [E] 

*Purgatorio de Dante Alighieri

Reseñas - Vaclav Smil, How the World Really Works

En cada familia extensa, adoita haber un personaxe inesquecible: o tío de lingua afiada e ollada cansa, que xa viu pasar demasiadas modas xuvenís e que monopoliza as comidas familiares cos seus interminables discursos á vista e oído de todos. Mais tras a súa rudeza agóchase algo raro: unha sabedoría profunda, duramente conquistada, sobre as realidades do mundo —realidades que a miúdo o noso cinismo ou inxenuidade finxen ignorar. Ler How the World Really Works de Vaclav Smil é coma escoitar ese tío, pero en forma de libro: rudo, directo, sabio e fondamente iluminador.

Cheguei a este libro a través dunha recomendación no club de lectura en liña de Altruismo Eficaz. O seu título captou a miña atención de inmediato, pero cando o collín non tiña idea de quen era Vaclav Smil. Imaginaba un autor moito máis novo e descoñecía por completo a súa profunda experiencia en enerxía, medio ambiente, alimentación, demografía, economía, historia e políticas públicas —ou que era un dos escritores favoritos de Bill Gates. Porén, esa ignorancia resultou irrelevante, porque só unha cousa resultou esencial: a súa pericia. E o libro encárgase de confirmala con creces.

O libro en resumo

How the World Really Works é o intento de Vaclav Smil de achegar os lectores ás realidades materiais que sustentan a civilización moderna: a enerxía que consumimos, os alimentos que producimos, os materiais que fabricamos e o medio do que dependemos. A súa tese central é simple pero devastadora: o noso xeito de vida está baseado nos combustibles fósiles e en catro piares insubstituíbeis (amoníaco, aceiro, formigón e plásticos), e calquera discusión seria sobre o futuro debe comezar recoñecendo a súa centralidade e insubstituibilidade actual. Cun rigor empírico considerable e un chisco de humor sarcástico, Smil expón os feitos que avalan a súa tese e desbota a demagoxia e a ignorancia da maioría dos xornalistas e políticos, así como as "mentiras pola ciencia" e as fantasías tecnoutópicas ou ecoloxistas de transición rápida ou colapso apocalíptico. O libro non é un chamamento á desesperanza nin ao triunfalismo, senón que pretende ser unha base sólida e sobria para comprender as realidades científicas básicas de cómo a vida moderna é realmente complexa, inercial e dependente de recursos.

Capítulo a capítulo

Capítulo 1: A enerxía é fundamental pero escorregadía

Smil comeza mostrando que a enerxía, aínda que esencial para a civilización, segue sendo mal comprendida. A vida moderna depende esmagadoramente dos combustibles fósiles, non só para a enerxía, senón tamén para materiais críticos, sendo os hidrocarburos densos insubstituíbeis. A electricidade, malia a súa versatilidade, non pode almacenarse a gran escala, o que complica unha dependencia total das renovábeis. Smil pide unha alfabetización enerxética, advertindo que o optimismo inxenuo sobre a descarbonización ignora enormes limitacións físicas e sistémicas.

Capítulo 2: Comprender a produción de alimentos: comer combustibles fósiles

O autor amosa como a produción de alimentos, dende a recolleita á agricultura, fixo posíbel a civilización pero segue atada aos combustibles fósiles. A agricultura moderna depende de fertilizantes sintéticos, mecanización e insumos enerxéticos; sen eles, non poderiamos alimentar nin sequera á metade da poboación actual. Aínda que a intensificación superou de momento os temores maltusianos, os custos ambientais e as ineficiencias seguen a ser altos. Smil insiste en que non é realista un regreso rápido á agricultura ecolóxica ou ao veganismo masivo: só son posíbeis melloras graduais e adaptacións pragmáticas.

Capítulo 3: Comprender o noso mundo material: os catro piares da civilización moderna

Smil desmonta o mito dunha economía "desmaterializada", amosando que a vida moderna depende de fluxos masivos de amoníaco, aceiro, formigón e plásticos, todos eles producidos con procesos intensivos en combustibles fósiles. Estes catro materiais alimentan, acollen e sosteñen a miles de millóns de persoas, sen alternativas verdes escalábeis á vista. Os avances dixitais, advirte, non poden substituír os alicerces materiais duros dos que a civilización segue dependendo.

Capítulo 4: Comprender a globalización – Motores, microchips e máis alá

A globalización é descrita como un fenómeno humano e histórico, non como unha forza inevitable. A globalización moderna acelerouse coas tecnoloxías do século XX e coa apertura política, culminando co espectacular ascenso de China. Mais Smil advirte de que as fendas (económicas, sociais e de seguridade) xa son visibles, e o mundo post-COVID amosa sinais claros de que o pico da globalización podería quedar atrás.

Capítulo 5: Comprender os riscos — de virus a dietas e tormentas solares

Smil interpreta a civilización como un longo esforzo por reducir perigos existenciais como a fame, a enfermidade, os accidentes e os desastres naturais. A pesar do enorme progreso, os perigos persisten —e a percepción humana do risco adoita distorsionar os perigos reais. Tamén destaca que os riscos voluntarios son máis tolerados ca os involuntarios, e como os medios amplifican os medos de xeito desproporcionado. A xestión racional do risco require enfrontar os sesgos sen esperar a eliminación dos ameazas raras pero catastróficas.

Capítulo 6: Comprender o medio ambiente: a única biosfera que temos

O capítulo comeza cunha crítica ás fantasías de colonizar outros planetas e cun chamamento a centrar o traballo humano dentro dos límites da Terra. O autor examina tres soportes biosféricos —osíxeno, auga doce e alimentos—, amosando que, mentres o osíxeno permanece estable, os sistemas hídricos e alimentarios enfróntanse a presións crecientes debido ao cambio climático. A pesar dunha comprensión científica clara do quecemento global, as emisións seguen aumentando, e Smil advirte que a descarbonización será lenta, difícil e dependerá de avances tecnolóxicos graduais, non de cambios radicais nin solucións milagrosas.

Capítulo 7: Comprender o futuro: entre o apocalipse e a singularidade

No último capítulo, Smil afirma que o desenvolvemento futuro situarase entre o colapso e o progreso ilimitado, caracterizado por cambios lentos e desiguais. Critica tanto as previsións excesivamente confiadas como os modelos alarmistas, destacando que a evolución real do mundo é imprevisible e está condicionada por restricións estruturais. Os cambios demográficos, as vulnerabilidades sistémicas e o cambio climático ilustran a dificultade dunha acción coordinada a longo prazo. A verdadeira preparación, insiste, require humildade, realismo e rexeitamento tanto das fantasías utópicas como do desespero apocalíptico.

Valoración persoal

How the World Really Works gustoume moito. Aprendín unha chea sobre as realidades enerxéticas e materiais que sustentan a nosa civilización —temas sobre os que previamente só tiña coñecementos vagos ou superficiais. Tamén apreciei a crítica mordaz de Smil a certos grupos polos que non sinto moita simpatía: os veganos militantes, os ecoloxistas do desastre e os utópicos da IA reciben un escepticismo máis que merecido. A maioría dos lectores beneficiaríanse do baño de realidade que ofrece este libro.

Se tivese que sinalar un defecto, sería un moi menor: os tres ou catro primeiros capítulos —os máis ligados á área de especialización directa de Smil— son extraordinariamente detallados, precisos e informativos, mentres que os capítulos finais resultan algo máis mornos e convencionais en comparación. Tamén se lle podería reprochar a Smil certo exceso de conservadurismo ou escepticismo ante os avances tecnolóxicos futuros. Porén, nunha era saturada de 'hype', How the World Really Works resulta unha lectura extremadamente saudábel, especialmente para aqueles que están excesivamente obsesionados co risco existencial asociado á IA.

O libro non conta con tradución ao galego, pero sí hai unha ao español, Cómo funciona el mundo: Una guía científica de nuestro pasado, presente y futuro, publicada por Debate en Febreiro do 2023 e traducida por Francesc Pedrosa Martín.

Shopping Basket

 

Reseñas - Brian Christian, The Alignment Problem

Introdución

Se algunha vez liches algunha das miñas reseñas, terás notado que, aínda que estou moi interesado nas matemáticas, ese interese non se estende a áreas próximas como a informática ou o machine learning. Isto non cambiou de xeito fundamental nos últimos tempos, mais debido ás miñas interaccións intelectuais cada vez máis frecuentes con certos movementos culturais Anglosaxóns (Altruísmo Eficaz e Racionalismo), sinto a necesidade de comprender ben o que probábelmente sexa o maior atractor para friquis destas comunidades: a o tema da aliñación da intelixencia artificial ás necesidades humanas. Ainda que hai unha chea de literatura dispersa ao respecto (na súa maioría entradas de blogs, mais tamén artigos e algúns vídeos), decidín achegarme ao tema do xeito que me resulta máis natural: a través dun bo e relativamente voluminoso libro que me axude a trazar un mapa dos fundamentos do eido. Foi esta tentativa a que me levou ao libro de Brian Christian The Alignment Problem (O problema da aliñación).

Antes de entrar no contido específico, compre explicar, ainda que sexa de xeito aproximado, en que consiste o problema que da título ao libro. “Aliñación”, en termos xerais, refírese a crear estados de acordo e coordinación que permitan que diferentes elementos (persoas, organizacións, sociedades) poidan traballar de maneira harmoniosa cun propósito común e/ou de xeito coerente entre si. Isto é algo que os humanos facemos constantemente: poderíase dicir que dende que nacemos somos adestrados, de diversas maneiras, para “aliñarnos” co tipo de comportamento aceptado (e agardado) dos distintos círculos sociais aos que pertencemos. E sabemos que este proceso adoita funcionar, ainda que non á perfección: todas as sociedades teñen individuos non aliñados que, moitas veces, rematan no cárcere ou algo peor. Aliñar os humanos cun conxunto compartido de valores e prácticas é difícil: hai quen incluso discute se é posíbel (ou desexábel) a grande escala, o cal suscita cuestións sobre qué sistema de valores deberiamos escoller, se estes poden mudar co tempo, etc.

O problema da aliñación estende este reto aos sistemas de aprendizaxe automática estremadamente potentes que xa creamos no século XXI, así como aos que poderiamos estar a piques de crear, como a IAX (intelixencia artificial xeral), que igualaría ou superaría aos humanos en todos os niveis de traballo cognitivo. Se cres que a IAX é probábel e inminente e que nos superará amplamente en intelixencia, ten sentido preocuparnos sobre como asegurar que farán o que realmente queremos que faga, mesmo cando os nosos obxectivos son difíciles de especificar, poden malinterpretarse ou mudar co tempo (o cal, por suposto, acontece, xa que os humanos somos unha lea evolutiva chea de impulsos contraditorios).

Podedes imaxinar doadamente as consecuencias da desaliñación: máquinas máis poderosas ca nós que nos poderían obrigar a obedecerlas (ou incluso eliminarnos) e/ou escenarios distópicos nos que os humanos quedemos sen poder. E isto pode pasar ainda que logremos codificar e fixar irreversiblemente os obxectivos da IAX (lembrade o conto do O aprendiz de feiticeiro, e o que pode pasar cunha orde formulada de forma ambigua e imposíbel de revogar).

O libro de Christian explora os principais desafíos de aliñar ás máquinas cos valores humanos, desafíos que xa están presentes mesmo cos sistemas relativamente limitados que temos hoxe en día. Para explicalo, tamén ofrece unha historia da investigación sobre a aliñación da IA desde os anos 50 ata hoxe a través das teorías e avances prácticos de científicos computacionais que o autor entrevistou para escribir o libro.

O contido

The Alignment Problem está dividido en tres seccións (Profecía, Actancialidade, Normatividade), cada unha con tres capítulos. A continuación vai un resumo (relativamente) breve de cada un deles, que podes ler ou saltar directamente á conclusión se non che interesa tanto detalle.

Capítulo 1: Representación

Este capítulo traza a historia inicial da aprendizaxe automática e as preocupacións fundamentais encol de modelos que tentan representar o mundo. Christian comeza co perceptrón de Frank Rosenblatt e conecta esta máquina con preocupacións filosóficas sobre a aprendizaxe e a representación. O perceptrón mostrou como as máquinas podían aprender a partir de datos etiquetados, actualizando pesos—un precursor da aprendizaxe supervisada moderna.

Logo explora como os sesgos de representación xorden a partir dos datos escollidos para adestrar os modelos. Examínanse exemplos coma o de ImageNet e as incrustacións de palabras: ImageNet etiquetaba imaxes con termos recollidos por crowdsourcing, reflectindo consensos sociais máis ca verdades obxectivas; as incrustacións como word2vec expoñen sesgos históricos (por exemplo, “home é a programador como muller é a ama de casa”). O capítulo destaca que o comportamento dun modelo depende dos datos cos que foi adestrado—e que mesmo representacións “precisas” poden codificar estereotipos negativos ou desigualdades estruturais.

Capítulo 2: Xustiza

Christian afonda no reto de definir e acadar comportamentos acordes ás nosas nocións de xustiza en sistemas algorítmicos. Céntrase en ferramentas de xustiza criminal como COMPAS, que predí o risco de reincidencia baseándose en indicadores indirectos defectuosos (como taxas de detención, que están sesgadas racialmente). Mostra como estes sistemas perpetúan inxustizas históricas e poden crear bucles de retroalimentación que aumentan algúns encarceramentos de forma inxusta.

Examina distintas definicións matemáticas de xustiza—como calibración, igualdade de oportunidades e paridade demográfica—e sinala que non se poden satisfacer todas ao mesmo tempo, o que leva a unha especie de “teorema de imposibilidade” para a xustiza algorítmica. Christian introduce a proposta de Moritz Hardt de adestrar modelos directamente a partir dos xuízos humanos de xustiza, aínda que isto tamén xera retos de aliñación. O capítulo argumenta que a xustiza non é só un problema técnico, senón profundamente social.

Capítulo 3: Transparencia

Este capítulo aborda a interpretabilidade na aprendizaxe automática e a tensión entre rendemento e comprensión. Christian conta a historia de Rich Caruana, quen adestrou unha rede neuronal para predicir a mortalidade por pneumonía. Aínda que tiña mellores resultados ca modelos máis sinxelos, o programa aprendera unha regra perigosa e opaca: que os pacientes con asma tiñan menor mortalidade (pero isto era porque eran hospitalizados antes). O modelo foi rexeitado a favor dun máis sinxelo e interpretábel.

Christian presenta ferramentas para facer os modelos máis transparentes: árbores de decisión, conxuntos de decisión, mapas de saliencia e vectores de activación de conceptos. Advirte sobre explicacións enganosas—sistemas que manipulan os seus “motivos” sen cambiar o comportamento—e sobre a tendencia humana a confiar en explicacións mesmo cando son erróneas. O capítulo remata suxerindo que a verdadeira transparencia implica facer visíbeis os valores, obxectivos e procesos humanos incrustados nos sistemas, non só o seu funcionamento interno.

Capítulo 4: Reforzo

Aquí, Christian aborda a aprendizaxe por reforzo (AR), que modela como os axentes aprenden a partir de sinais de recompensa no canto de datos etiquetados. Traza a súa evolución desde a Lei do Efecto de Edward Thorndike e os experimentos de B.F. Skinner con ratas e pombas, e os marcos computacionais de Sutton e Barto.

O capítulo explica o problema da asignación de crédito (como saber que accións levaron a unha recompensa), o equilibrio entre exploración e explotación, e a estrutura das funcións de recompensa. Christian destaca a facilidade con que os axentes poden adoptar comportamentos non desexados se as funcións de recompensa están mal especificadas—como o caso do barco simulado por OpenAI que aprendía a xirar en círculos para conseguir máis puntos.

A idea central é que as recompensas son poderosas pero perigosas: se non están deseñadas con coidado, poden levar os axentes a comportarse de xeitos contraproducentes ou incluso catastróficos.

Capítulo 5: Moldeo

Este capítulo explora o “moldeo”—o método de Skinner para adestrar animais en condutas complexas reforzando aproximacións sucesivas. Christian relata como Skinner e os Breland (os seus estudantes) usaron o moldeo para adestrar pombas e logo fundaron unha gran empresa de adestramento animal. O moldeo converteuse nun concepto central do conductismo en psicoloxía.

A continuación, analiza como estes principios son aplicados na aprendizaxe por reforzo e a robótica modernas. A clave está na idea de non especificar metas exactas, senón guiar o proceso de aprendizaxe mediante recompensas intermedias. Porén, xorden problemas cando esas recompensas intermedias se converten no obxectivo da optimización, levando a comportamentos non desexados. Christian destaca que mesmo as recompensas temporais poden descarrilar os obxectivos a longo prazo.

Tamén reflexiona sobre como a evolución e a cultura poden verse como forzas de moldeo dos valores humanos, e suxire que deseñar IA pode requirir unha coidada paciencia semellante: non só importa qué recompensa damos, senón cómo guiamos a aprendizaxe ao longo do tempo.

Capítulo 6: Curiosidade

Este capítulo trata a motivación intrínseca, tanto en humanos como en IA. Christian traza a historia da investigación sobre a curiosidade desde a psicoloxía inicial (por exemplo, os monos de Harlow que resolvían crebacabezas sen recibir recompensas externas) ata a aprendizaxe por reforzo moderna. Explica que en moitos contornas (coma o videoxogo Montezuma’s Revenge), os axentes fracasan sen incentivos de exploración—é dicir, sen recompensas ligadas á curiosidade—porque as recompensas son demasiado escasas.

Os enfoques baseados na curiosidade recompensan os axentes pola novidade e a sorpresa. Algoritmos como a exploración baseada en contadores e os pseudo-contadores axudan aos axentes a explorar con máis eficacia. O autor compara isto coa psicoloxía infantil: os nenos séntense atraídos non só pola novidade, senón tamén pola ambigüidade e a sorpresa—elementos que desafían as súas expectativas.

A idea central é que a curiosidade non é exploración aleatoria, senón un impulso dirixido cara á comprensión; e que as máquinas poderían necesitar mecanismos semellantes para aprender de forma robusta en contornos complexos e reais.

Capítulo 7: Imitación

Aquí entra en xogo a aprendizaxe por imitación, na que os sistemas de IA aprenden a partir de demostracións humanas no canto de recompensas. O capítulo comeza con exemplos da psicoloxía infantil—como mesmo os neonatos imitan expresións faciais—e como a imitación sustenta o desenvolvemento cognitivo temperán.

Na IA, a clonación de comportamento (aprendizaxe supervisada a partir do comportamento experto) pode ser fráxil debido aos erros en cascada: os pequenos fallos acumúlanse porque o axente adéstrase en traxectorias ideais, non nas súas propias experiencias, que adoitan ser máis desordenadas. Técnicas como DAgger abordan este problema permitindo que os axentes aprendan a partir de correccións ao seu propio comportamento, non só a partir de demostracións expertas.

Christian destaca os riscos de asumir simetría entre experto e imitador: as diferenzas de corpo, perspectiva ou contorna poden dificultar o proceso. Tamén distingue entre imitación e emulación, e discute cando copiar funciona—e cando comprender as intencións é máis importante.

Capítulo 8: Inferencia

Este capítulo céntrase na aprendizaxe por reforzo inversa (ARI)—é dicir, aprender cales son os valores de alguén observando o que fai. Christian describe esta técnica como esencial para a aliñación: no canto de dicirlle explicitamente a un axente o que debe optimizar, infire os obxectivos a partir do comportamento do modelo.

Explica as dificultades da ARI: o comportamento non sempre reflicte os valores de maneira transparente. As persoas poden actuar de forma irracional, inconsistente ou baixo limitacións, e distintos sistemas de valores poden producir condutas idénticas. Aínda así, estanse a facer avances: os modelos tentan agora inferir preferencias latentes tendo en conta limitacións, hábitos e mesmo prexuízos.

Christian tamén trata o cooperative inverse reinforcement learning (CIRL), no que humanos e axentes aprenden e infiren obxectivos xuntos, e a modelización da recompensa, na que os sistemas aprenden tanto do comportamento como da retroalimentación avaliativa. Estes enfoques pretenden salvar a distancia entre acción observada e intención real.

Capítulo 9: Incerteza

Christian remata co tema da incerteza, argumentando que a seguridade na IA require que os sistemas recoñezan o que non saben. Contrasta modelos confiados pero fráxiles con aqueles calibrados, robustos e cautelosos ante situacións novas.

Emprega a historia de Stanislav Petrov, que evitou un desastre nuclear ao desconfiar correctamente dun sistema de alertas defectuoso, como parábola de que as IA deben ter humildade epistémica. Entre os temas tratados están os exemplos adversariais, a detección de datos fóra de distribución e a aprendizaxe de categorías abertas—recoñecer que non todo foi visto antes.

Introduce o inverse reward design (IRD), no que os axentes tratan as recompensas como pistas imperfectas sobre as intencións humanas, non como verdades absolutas. O capítulo suxire que a aliñación depende de que os axentes se modelen a si mesmos como falibles e interpreten as ordes de forma reflexiva, non literal.

Conclusión

Este é un libro excelente que cumpre perfectamente o seu propósito: facer que un lector non especialista tome conciencia dos problemas que xorden ao tentar aliñar sistemas mecánicos cos valores humanos. Está moi ben escrito tamén: o autor coñece os instrumentos do oficio e sabe introducir anécdotas interesantes e filtrar a información técnica a través das súas personaxes sen caer nun exceso de tecnicismos (en matemáticas, programación ou enxeñaría) que puidesen desorientar o lector. Isto si, ás veces deixa certas cousas sen explicar que fan que o lector curioso (coma min) quede un pouco abraiado—por exemplo, como é posible crear funcións de utilidade e recompensas (?!?) que unha máquina “sinta” que debe seguir—pero iso non é realmente culpa do libro. Recoméndoo vivamente: aprenderás moito e, ademais, pasaralo ben léndoo.

Ata onde eu sei, o libro non esta traducido ao español ou ao galego, así que terás que botarlle un ollo na língua de Shakespeare (algo que pasa moi habitualmente cos libros que leo).

Libros do Mes

Oresteia de Esquilo [R] 

Principles of Economics de N. Gregory Mankiw [E] 

Naive Set Theory de Paul Halmos 

The Aligment Problem de Brian Christian 

*The Precipice de Toby Ord 

*Night Watch de Terry Pratchett [E] 

*Purgatorio de Dante Alighieri

Shopping Basket

Libros do Mes

Genghis Khan de Jack Weatherford

Kepler de Eduardo Battaner

*The Aligment Problem de Brian Christian

*Principles of Economics de N. Gregory Mankiw [E]

*Naive Set Theory de Paul Halmos

*Purgatorio de Dante Alighieri