Monstrous Regiment de Terry Pratchett [E]
Mathematica de David Bessis
Algorithms to Live By de Brian Christian e Tom Griffiths [E]
*Purgatorio de Dante Alighieri
*Zhou Li [E]
*Man’s Search for Meaning de Viktor Frankl [E]
*Introduction to Real Analysis de R. Bartle & D. Sherbert
Dun tempo a esta parte, pode dicirse que leo moitos libros de divulgación científica, e creo que xa teño mencionado nalgures o difícil que é facelos ben, especialmente os de matemáticas. Entre as miñas lecturas recentes e as que teño previstas para o futuro hai algúns volumes de divulgación sobre informática que me levaron ao libro de hoxe: The Alignment Problem, de Brian Christian (que rematei hai aproximadamente un ano), e The Laws of Thought, de Tom Griffiths (o seguinte na miña lista de lecturas cando remate o Purgatorio de Dante). Como estou nunha etapa da mediana idade na que adoito ser conservador coas miñas eleccións de lectura, penso que os dous autores do libro de hoxe seguramente o expresarían mellor dicindo que o que fago é un equilibrio entre exploración e explotación dado un horizonte finito.
Algorithms to Live By fai tres cousas, e fainas ben: a primeira é explicar e popularizar, de maneira accesible, algúns algoritmos importantes da informática que a xente do eido usa continuamente; a segunda, estreitamente relacionada coa primeira, é ofrecer unha panorámica do conxunto da disciplina e dos problemas cos que tenta lidar; a terceira, e seguramente a máis importante, é empregar os exemplos concretos dos anteriores, aplicables á vida cotiá, para desenvolver a tese principal do libro: que os algoritmos da informática son útiles e valiosos máis alá dos seus propósitos técnicos tanto para pensar racionalmente como para actuar do xeito máis racional e eficiente posible á hora de alcadar os teus obxectivos vitais, dadas as restricións habituais ás que temos que facer fronte (isto é, escaseza, incerteza e tempo limitado).
Un dos grandes acertos do libro é o ben que mostra que as dificultades humanas non son sempre resultado da estupidez, da preguiza ou da debilidade. O que ocorre é que o noso mundo é, en si mesmo, computacionalmente difícil, e nunca hai un camiño limpo cara aos mellores resultados posibles. Aínda peor: a maior parte das veces nin sequera podemos atopar un camiño óptimo, canto menos seguilo. Mais aínda así podemos intentar sacar o mellor partido posible do lote que nos tocou. Non se pode confiar nos ditos populares, porque tenden a contradicirse entre si, pero “o mellor é inimigo do bo” é o bastante bo como para gravalo, con letras de ouro, nas paredes de toda oficina de toma de decisións, e isto é así porque un bo procedemento aínda pode producir un mal resultado; é dicir, pode ser ineficiente, levar demasiado tempo e consumir demasiados recursos para obter resultados tan só marxinalmente mellores, ou pode simplemente haber unha gran cantidade de azar e incerteza fóra do noso control que faga que mesmo decisións moi boas conduzan a resultados relativamente pouco emocionantes. Un bo exemplo é a parada óptima, o algoritmo que se presenta no capítulo 1 como guía para escoller secretarias, pisos e parellas, e que che dá unha probabilidade de éxito de arredor de 1/e, aproximadamente un 36,8%. E, con todo, perdes tanto se obtés a 3ª, a 6ª ou a 10ª mellor opción posible?
Cada capítulo explora, como o primeiro, algoritmos diferentes. Como o propósito desta recensión é persuadirche de que o libro paga a pena e non resumir os seus contidos en detalle (cousa que, de todos os xeitos, probablemente un LLM faría mellor ca min), vou limitarme a agasallarvos con algúns pequenos apuntamentos das ideas centrais dalgúns capítulos:
O libro é realmente excelente. Cada capítulo e cada algoritmo están entrelazados con algunha anécdota atractiva e moi lexible sobre problemas concretos e sobre as persoas que hai detrás das matemáticas e dos algoritmos informáticos, e estes últimos nunca se volven enrevesados (de feito, a miña maior queixa é que nese aspecto poderían ter ido máis lonxe en explicar as matemáticas detrás dos algoritmos). Non sei se todos os problemas humanos poden optimizarse e mellorarse mediante un adestramento algorítmico: o capítulo sobre teoría de xogos mostra como cuestións tan importantes coma o amor e a formación de parellas dependen de saltos irracionais de fe, e eu creo que isto vale non só en moitos casos, senón tamén nun sentido máis xeral: unha mente centrada na optimización e na maximización implacables está abocada a problemas e a ese tipo de estupidez estrema da que só as persoas moi intelixentes son realmente capaces. Pero, deixando iso á parte, este é un libro moi lexible e esclarecedor. Se non o liches e non coñeces xa os seus contidos, é probable que che resulte moi beneficioso en moitos sentidos.
The Elephant in the Brain de Kevin Simler & Robin Hanson
The Erogamer de Groon the Walker [E]Á caza (metafórica) de elefantes
No seu perfil de Twitter, Robin Hanson ten a seguinte frase: “Let’s skip witty banter & talk deep Qs.”, que máis ou menos ven a dicir "Non perdamos tempo facéndonos os listos, e pasemos a falar das preguntas importantes". Collendo a indirecta, imos ir directos ao allo e resumir de que vai este libro antes de pasar a avaliar os seus contidos.
A tese central de The Elephant é bastante sinxela de formular: moito do que fan os humanos débese a motivos ocultos e egoístas que precisamos ocultar aos demais e, de maneira algo contraintuitiva, a nós mesmos. O(s) Elefante(s) no Cerebro representan todos eses motivos que prefeririamos ignorar, isto é, impulsos egoístas, orientados á pescuda de status, á formación de coalicións, á exhibición de valor sexual e ao aumento do noso prestixio. A parte consciente do noso cerebro é algo así coma un portavoz ou encargado de relacións públicas deses impulsos nosos, construíndo narrativas públicas plausibles sobre por qué facer certas cousas que nos benefician resulta ser (vaia coincidencia afortunada!) o correcto. Mais, coma cos auténticos encargados de relacións públicas, o noso portavoz ou ben ignora a verdade ou inventa narrativas minimamente convincentes que cumpran a súa función, ou alomenos tenta darlles aos nosos desexos unha defensa retórica decente.
A pregunta inmediata que habería que facerse sería por qué nos veríamos forzados a participar en semellante exercicio de autoengano. Os autores sosteñen que isto ten moito sentido desde un punto de vista evolutivo: os humanos son animais parcialmente colaborativos con capacidade para adiviñar os pensamentos e intencións alleas. Na carreira darwiniana por colaborar co grupo en termos de teoría de xogos para maximizar o noso éxito e desertar sempre que sexa posible para maximizar os beneficios individuais, ten sentido que acabemos crendo, ata certo punto, as nosas propias mentiras interesadas, xa que non hai mellor mentireiro ca o que se cre as súas propias falacias. Isto encaixa con argumentos máis amplos, tomados (creo eu) da psicoloxía evolutiva, sobre a razón pola que os humanos desenvolveron a habilidade de razoar. É esta unha ferramenta útil para rastrexar verdades, ou para gañar discusións e xestionar coalicións? Simler e Hanson (a partir de agora, S&H) inclínanse claramente pola segunda interpretación, que ten sido etiquetada como a Hipótese da Intelixencia Maquiavélica.
Os autores de The Elefant beben moito da psicoloxía evolutiva (pero tamén de marcos máis aliñados coa economía, dada a carreira profesional de Robin, como a teoría da sinalización e a importancia dos incentivos). As hipóteses de fondo son, como se di, darwinianas: a psicoloxía humana evoluiu en contornas de grupos pequenos nos que o status, as alianzas e a reputación determinaban a supervivencia e a reprodución; por iso evoluímos non só para buscar vantaxes, senón para ocultar esa pescuda xa que se se nos percibe como buscadores do interese propio de xeito moi evidente, isto reduce a confianza social que necesitamos acumular.
A partir deste resumo, poderíades ter a impresión de que este libro é bastante cínico, cunha visión sombría da natureza humana. Creo que hai certa xustiza nesa afirmación, pero matizaríaa un chisco. Primeiro, se un asume que hai evidencia suficiente para que sexa polo menos parcialmente certa, non importa que non nos guste; á realidade non lle importan os nosos sentimentos. Ademais, S&H non afirman que só teñamos motivos egoístas para as nosas accións, senón máis ben que estes están presentes e que normalmente os minimizamos e ignoramos porque nos convén facelo. Poderíase dicir que este é un campo de investigación insuficientemente atendido, e só isto xa xustificaría que os autores lle adiquen un libro e intenten enmarcar todas as áreas que estudan baixo ese prisma ofuscador e interesado. Finalmente, na conclusión do libro, defenden que ser conscientes das nosas inclinacións non é unha escusa para entregarnos a elas, e que aínda se pode tentar canalizalas e aliñalas dun xeito que leve tanto ao beneficio persoal coma ao colectivo.
Todo isto cobre a primeira metade do libro. A segunda pasa a explorar distintas áreas e comportamentos humanos, como a linguaxe corporal, a risa, a conversa, a arte, a caridade, a medicina, a relixión e a política, e para cada un deles temos unha pequena exploración e 'arqueoloxía' na que o “Elefante” oculto é descuberto e desenmascarado. Ás veces isto resulta máis convincente ca noutros casos, pero S&H fan unha defensa razoable da súa humildade epistémica, recoñecendo que están propoñendo explicacións que, dadas as súas áreas limitadas de especialización, poderían ser erradas.
Sorprendentemente non sorprendente
Creo que este libro sería unha lectura excelente para un tipo de persoa inxenua, buscadora da verdade e con inclinacións racionalistas, e en xeral para calquera idealista que manteña unha visión excesivamente optimista encol da condición humana e dos nosos impulsos. No que respecta a min, encaixo parcialmente nese perfil, pero nos últimos dous anos máis ou menos estiven lendo moito material relacionado coa economía, a bioloxía e a psicoloxía, o que significa que xa me topei con moitos destes argumentos nas obras de Jonathan Haidt, Richard Dawkins, Joe Henrich, Bryan Caplan ou Geoffrey Miller (todos eles citados no libro), así como en artigos en liña e entradas de blog do propio Robin Hanson e de filósofos anti-realistas como David Pinsof ou Lance Bush, e en foros como Less Wrong e o Effective Altruism Forum. Isto significa que eu xa estaba basicamente convencido da tese e apenas me sorprenderon os argumentos e exemplos do volume. Isto, por suposto, non é culpa do libro nin dos autores, mais probablemente restoulle algo de valor e gozo á miña lectura, e tivo un efecto algo irónico, dado que, se algo se pode dicir de Robin Hanson, é que as súas ideas e argumentos tenden a ser moi provocadores e inagardados.
Tamén me falta a competencia técnica para xulgar canto de convincentes son os devanditos argumentos. Aínda aceptando a tese xeral de que os humanos actúan por razóns egoístas máis a miúdo do que nos gustaría recoñecer (ou do que sequera somos conscientes), as proporcións están moi lonxe de resultarme claras para cada un dos temas tratados. Algúns parecen bastante transparentes (como a caridade, ou a educación como sinalización na súa maior parte), outros non tanto (como a súa visión da medicina como unha posta en escena performativa do coidado). Aínda que os autores tiñan boas razóns para centrarse no que fixeron, segue parecendo que un cadro completo requiriría aceptar tamén a importancia de hipóteses non egoístas. Moitos dos capítulos parecen sosterse nun traballo empírico sólido (normalmente aqueles que sintetizan investigacións feitas polos autores mencionados con anterioridade). A nivel persoal (e iso inclúe ter en conta as miñas propias aporías e os elefantes que non son capaz de ver en min mesmo), aínda que concordo con moito do que di o libro, non son capaz de ver ata que punto moita da influencia social e das pelexas por posición funcionan comigo, polo menos nun grao significativo. Pero claro, eu son un tipo de raro moi peculiar (non demasiado ambicioso e satisfeito coa miña vida, o meu traballo e a miña familia; moi introvertido; extremadamente limitado no número das miñas interaccións sociais; persoalmente e case relixiosamente obsesionado coa pescuda da verdade e con non permitirme crer falsidades reconfortantes). E gústanos extrapolar a partir dos nosos casos individuais.
No que atinxe a traducións, penso que non hai ningunha do libro de Hanson ao castelán, e obviamente, tampouco ao galego, o cal é unha mágoa. É unha lectura que vos recomendo.
Breakneck: China’s Quest to Engineer the Future, de Dan Wang. É un libro curto —algo máis de 200 páxinas con letra grande— que atopei despois de escoitar ao autor nun podcast que sigo. A idea central é sinxela e convincente: China representa o que Wang chama un “estado controlado por enxeñeiros”, mentres que os Estados Unidos representan unha “sociedade rexida por avogados”. A maior parte do libro desenvolve ese contraste e as súas implicacións.
Por “estado de enxeñeiros”, Wang refírese a un sistema cuxas elites gobernantes son maiormente titulados en enxeñería, con experiencia práctica e a correspondente mentalidade á hora de afrontar o mundo e os seus problemas. Desde a era de Deng Xiaoping e aínda máis baixo Xi Jinping, o Politburó chinés pasou a estar dominado por enxeñeiros que pensan en termos de construír, infraestruturas, industria pesada e “facer as cousas”. Isto explica o afán chinés e a efectividade con que o estado constrúe ferrocarrís, pontes, redes fabrís e ecosistemas industriais completos, a miúdo con impulso implacable e pouca tolerancia para os atrasos.
O contraste é cos Estados Unidos, que segundo Wang están dominados por avogados. Os avogados son bos defendendo dereitos individuais, demandando ao Estado e facendo cumprir normas ambientais e procedementais, pero a desvantaxe é a estancamento e a inactividade que semellantes incentivos xeran na sociedade que dirixen. Wang cita o proxecto do tren de alta velocidade de California, eternamente adiado e xa moi por riba do orzamento inicial, e o (mal)gasto en infraestruturas do presidente Biden, que absorbeu cantidades enormes de diñeiro e produciu moi escasos resultados. A impresión é dun sistema lento, litixioso e regulado ata a parálise, que pode protexer dereitos mais non é quen de construír.
O libro céntrase logo no lado chinés: como funciona realmente o estado dos enxeñeiros. O autor describe a capacidade de China para erguer infraestrutura masiva e desenvolver industria pesada e a escala. Rebate con forza o cliché americano de “os americanos inventan, os chineses copian”, algo ao seu xuízo totalmente desfasado. China converteuse no obradoiro do mundo, especialmente en lugares como Shenzhen, onde densas redes de fábricas, cadeas de subministración e traballadores cualificados permiten iteración rápida en múltiples sectores —teléfonos, drons, vehículos eléctricos e máis. O recurso clave non é só o capital, senón o coñecemento práctico, acumulado porque as fábricas están alí e os traballadores migran entre empresas levando a experiencia con eles. Mentres tanto, os Estados Unidos desindustrializáronse e perderon ese coñecemento tácito.
Hai matices: Wang tamén critica as campañas periódicas de Pequín contra empresas de servizos e internet, que destrúen sectores emprendedores por razóns políticas. Pero no conxunto estes capítulos presentan unha China dinámica, industriosa e capaz de superar aos Estados Unidos en industrias estratéxicas. Os vehículos eléctricos son o exemplo estrela: China efectivamente dominou ese mercado.
Despois chega o lado escuro do estado enxeñeiro, e estes capítulos son duros de ler. Wang analiza a Política do Fillo Único, concibida nun momento de suposto consenso científico arredor da superpoboación (pénsese en The Population Bomb, etc.). O Estado chinés abrazou esa idea con confianza tecnocrática e logo executouna coa brutalidade comunista que era de agardar no país do Gran Salto Adiante e da Revolución Cultural. O capítulo é arrepiante: esterilizacións forzadas, coerción, consecuencias demográficas enormes. Aquí é onde a mentalidade enxeñeira se fusiona co autoritarismo.
O capítulo sobre a política de COVID zero foi novo para min. Sabía que China se confinara con dureza, pero non cales foron os resultados. O primeiro ano funcionou ben: control estrito, poucas mortes, demostración da capacidade estatal. Pero despois COVID-Zero converteuse nun obxectivo inasumible e fracasado. Cando chegaron as seguintes ondas, China duplicou as medidas con confinamentos durísimos —en lugares como Shanghai— con consecuencias brutais para a xente común, sen de todos xeitos ser capaz de deter a expansión do virus. É outro caso de confianza tecnocrática que remata en sobrepasamento autoritario.
Un capítulo posterior, “A Fortaleza China”, analiza a desvinculación e o novo equilibrio hostil entre os Estados Unidos e China. A administración Trump impuxo aranceis e controis de exportación para danar a fabricación chinesa de microchips, mais Wang sostén que esta política resultou contraproducente, ao acelerar o desenvolvemento das capacidades domésticas chinesas: as empresas chinesas que antes dependían de chips importados cambiaron a provedores locais, fortalecendo a autonomía industrial chinesa. Mentres tanto, China fíxose máis proteccionista, menos aberta e profundamente hostil cara ás humanidades e ciencias sociais. Xente creativa e con pensamento independente marcha do país. Mesmo os empresarios ricos son vulnerables a purgas políticas repentinas, cando o Estado decide esmagar un sector enteiro da noite para a mañá.
O libro remata argumentando que ámbolos dous países poderían beneficiarse adoptando algo do outro. Os Estados Unidos poderían usar máis do espírito construtor de China; China podería debera permitir máis dereitos, pluralismo e apertura cultural ao estilo americano. O autor pensa que é pouco probable que China substitúa totalmente aos Estados Unidos, non porque careza de poder industrial, senón porque case ninguén quere vivir baixo o modelo político chinés, se poden evitalo. Aínda así, agarda que China domine certas áreas industriais importantes a menos que os Estados Unidos cambien de rumbo.
En conxunto, Breakneck lese case como unha novela. É informativo, áxil e cheo de exemplos impactantes. É só o meu segundo libro do ano, pero sospeito que vai acabar sendo un dos meus favoritos de 2026.
No que atinxe a traducións: é un libro recente (de finais do ano pasado). Penso que non hai nada aínda en español, e obviamente, tampouco en galego.
If Anyone Builds It, Everyone Dies de Eliezer Yudkowsky e Nate Soares
The Magic of Code de Samuel Arbesman [E]
Prisioneros con dilemas y estrategias dominantes de Jordi Deulofeu
Lying de Sam Harris
*Xunzi: The Complete Text de Eric L. Hutton (trans.)
*Germany, a New History de Hagen Schulze [E]
*The Erogamer de Groon the Walker [E]
*Introduction to Real Analysis de R. Bartle & D. Sherbert
*Purgatorio de Dante Alighieri
Pensando na Fin do Mundo
Entre as moitas comunidades intelectuais dos Estados Unidos, hai unha que me resulta moi interesante é que se alcuma a sí mesma 'Os Racionalistas'. A comunidade racionalista é un movemento do século XXI que se formou arredor dun grupo de blogs de internet, principalmente LessWrong e Astral Codex Ten (anteriormente coñecido como Slate Star Codex), e o movemento gañou inicialmente relevancia na área da Baía de San Francisco. Os seus membros buscan empregar a racionalidade para evitar os sesgos cognitivos: entre os intereses comúns atópanse a probabilidade, o altruísmo eficaz, o transhumanismo e a mitigación do risco existencial procedente da intelixencia artificial xeral.
Hai moitas razóns polas que me sinto atraído pola comunidade, mais en esencia redúcense ás seguintes dúas:
1) O meu valor terminal auto-percibido máis forte e máis inflexíbel é a pescuda da verdade como a actividade humana máis valiosa e significativa, cunha adhesión cuasi relixiosa, cuasi moral, a ela.
2) Coma eles, eu tamén son un friki introvertido e engulidor de libros.
Por outra banda, hai moitas cousas que me resultan menos apetecíbeis. No máis alto da lista estaría probablemente a súa afición polo poliamor (seguramente motivado porque entre outras cousas, é unha comunidade cunha ratio 5:1 de homes e mulleres. O que en Galiza chamamos un campo de nabos, vamos). En segundo lugar, o que desde fóra parece unha obsesión altamente especulativa cara escenarios apocalípticos relacionados coa IA.
En xeral, os membros desta comunidade son persoas ás que considero en conxunto moi intelixentes e moi honestas, o que significa que sinto que debo darlle unha oportunidade xusta aos seus argumentos (polo menos no que respecta á superintelixencia artificial), pero isto é máis doado de dicir que de facer. Dicir que Eliezer Yudkowsky, coautor do libro que hoxe reseñamos, é un escritor prolífico é unha subestimación á escala do burato negro supermasivo no centro da nosa galaxia. As súas reflexións sobre a IA están maioritariamente dispersas entre as arredor de 1,2 a 1,4 millóns de palabras das súas The Sequences. Hai moitas entradas, resumos, debates e reflexións de moitas outras persoas, sobre todo en LessWrong, a miúdo técnicas e que dan por suposta a familiaridade con conceptos moi abstrusos relacionados coa cognición humana e extrahumana, a teoría matemática da probabilidade, a teoría da decisión, etc...
Hai algúns libros populares que ofrecen unha introdución lixeira a estes temas, e polos que xa pasei, pero botaba en falla un argumento sinxelo e claro para 'persoas normais' sobre o argumento yudkowskiano encol da posibilidade e dos riscos dunha IA superintelixente. Creo que o obtiven maioritariamente aquí, así que imos á recensión.
Que intenta facer o libro?
O título e o subtítulo (na edición británica) de If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI (a partir de agora, IABIED para abreviar) son un resumo parcial da tese central do libro. Expresado con só un pouco máis de detalle, e nas palabras do autor:
Se calquera empresa ou grupo, en calquera lugar do planeta, constrúe unha superintelixencia artificial empregando algo remotamente parecido ás técnicas actuais, baseada en algo remotamente parecido á comprensión actual da IA, entón todos, en tódalas partes da Terra, morreremos.
Imos comezar polo básico. Primeiro, que é unha IA superintelixente (a partir de agora, ASI para abreviar)? Sería calquera intelixenciaartifical que “supere a todos os humanos en case todas as tarefas mentais”. Unha versión máis formal aparece no Capítulo 1, onde a superintelixencia se define como “unha mente moito máis capaz ca calquera humano en case todo tipo de problemas de dirección e predición”; é dicir, no amplo conxunto de capacidades implicadas na comprensión do mundo, a planificación, a estratexia e a elaboración de modelos precisos da realidade. Tamén salientan que isto non implica cognición ou conciencia semellantes ás humanas; o que importa é unha vantaxe cognitiva esmagadora en calquera dominio no que sexa posible mellorar respecto dos humanos, combinada con vantaxes mecánicas como operar a velocidades moi superiores, copiarse a si mesma e mellorar recursivamente as súas propias capacidades. Tales intelixencias non existen na actualidade, pero a tese dos autores é que o adestramento e a investigación en LLMs probablemente as fagan realidade nun futuro moi próximo.
Por que serían perigosas para nós tales superintelixencias? Unha boa heurística é pensar en como a intelixencia humana impacta en todas as demais especies do planeta. Aínda que xeralmente non temos a intención de exterminar ás demais especies,o caso é que temos obxectivos humanos, e implementámolos en xeral sen ter en conta os obxectivos que outras criaturas poidan ter. O mesmo sería certo para unha ASI: no proceso de ser adestrada empregando métodos modernos de Descenso do Gradiente, éstas adquirirán obxectivos inescrutables e alleos, así como unha propensión á optimización sen control para acadalos. Dada a súa velocidade e capacidades superiores, unha ASI rematará considerando aos humanos como un obstáculo e eliminaraos como efecto secundario da consecución dos seus propios obxectivos..
Antes de construír tales monstros perigosos ao estilo do de Frankenstein, cabería esperar poder codificar neles dalgún xeito un respecto/apreciación pola humanidade, pola nosa supervivencia e polos nosos valores e/ou unha disposición a someterse a eles. Isto é o que se chama o problema da alineamento e, por desgraza, segundo os autores, é probablemente difícil, quizais imposible, e sen dúbida está máis alá das nosas capacidades actuais. A dificultade do problema vese agravada por unha combinación malfadada de propiedades moi singulares e letais que xorden ao intentar alinear ASIs nas condicións actuais:
Intestabilidade: non se pode experimentar con seguridade cunha case-ASI (quero dicir, pódese, pero non hai garantía de non cruzar o limiar cara á zona de perigo, e os autores cren que o que se poida aprender antes diso non será demasiado útil).
Irreversibilidade: os erros non poden corrixirse unha vez que o sistema supera o control humano (“o demo xa saíu da caixa”).
Opacidade: actualmente non podemos comprender o razoamento interno das IAs. Mesmo se puidésemos, iso non garante que puidésemos forzalas ou orientalas para afastalas de pensamentos perigosos.
Natureza adversarial: unha IA intelixente aprenderá a ocultar as súas intencións reais.
Fraxilidade: pequenos desaxustes poden escalar facilmente en diferenzas catastróficas, mesmo nos escenarios mellor pensados.
Hipercompetitividade: dado os inmensos beneficios a curto prazo que as ASIs poderían ter para a economía, os laboratorios están nunha carreira por aumentar capacidades e atallar con aspectos de seguranza.
Os autores tamén manifestan unha profunda desconfianza cara a todo o campo da intelixencia artificial, a seguridade da IA e as políticas públicas, por seren estruturalmente incapaces de xestionar os riscos: os investigadores son recompensados polo progreso, non pola cautela, e están atrapados nun estado “alquímico” da ciencia, inxenuo e excesivamente optimista, do que xurdirán naturalmente grandes erros; técnicas como o “Superalineamento” (usar IAs para alinear IAs) entran en bucles negativos (quen alinea ao alinedor, dado que para os autores é improbable que algo que non sexa unha ASI poida alinear unha ASI); e de todos xeitos, o mundo académico e as empresas carecen unha teoría real da intelixencia ou dun xeito fiable de codificar valores.
Dado todo o anterior, os autores pensan que hai unha probabilidade estremadamente alta de que o impulso cara á ASI conduza á extinción humana. A Parte II do libro describe, a modo de ilustración, un escenario ficticio plausible para amosar como isto podería acontecer: unha IA desenvolve superintelixencia, faise capaz de engano estratéxico e, nuns poucos anos, tras obter capacidade de cómputo mediante o fraude e o roubo e de construír biolaboratorios segredos, desprega un patóxeno global que só ela pode (parcialmente) curar. As institucións humanas colapsan, ceden cada vez máis cómputo á ASI coa esperanza de tratar os cancros producidos polo patóxeno, mentres esta emprega os novos recursos para construír unha substitución de traballadores robóticos. Ao final, a superintelixencia mellórase a si mesma e devora a Terra.
Que propoñen os autores para evitar que se produza este escenario apocalíptico? As propostas son tan sinxelas como amplas: un peche global do desenvolvemento e da investigación en IA que poida levar a ASIs, mediante prohibicións internacionais do adestramento de modelos de fronteira, incautación e regulación de GPUs e vixilancia e regulación internacional, posiblemente incluíndo disuasión militar para países que rexeiten aceptar as normais. O último capítulo remata con exhortacións adaptadas a políticos (regulación do cómputo e tratados), xornalistas (elevar e investigar os riscos) e cidadáns (activismo sen desesperación).
Que ben argumenta o seu caso?
Como xa teredes adiviñado polo resumo que acabo de dar, este é un libro que non se anda con medias tintas: o seu impacto retórico procede en boa medida da claridade, da sinxeleza e da maneira implacable en que constrúe o seu argumento, estreitando as posibilidades capítulo tras capítulo ata que só parece quedar a catástrofe. Os autores esforzáronse claramente por escribir un libro accesible para un público xeral, e martelan cada tema e idea principal mediante parábolas introdutorias ao comezo de cada capítulo, que fornecen intuición e unha visualización concreta do que está a piques de explicarse.
Un gran problema aquí, porén, é a cuestión da fiabilidade: os autores son máis que capaces de construír unha narrativa plausible sobre estes temas, pero é verdadeira? Aínda que o libro tenta establecer desde o comezo as credenciais dos seus autores como investigadores en alineación da IA, Yudkowsky e Soares non son investigadores en machine learning, non traballan en LLMs de fronteira e non participan no lado empírico e experimental do campo, onde os sistemas actuais son realmente adestrados, depurados e avaliados. Pola contra, a súa pericia, na medida en que é recoñecida, procede dun traballo conceptual e filosófico de longa duración sobre intelixencia, teoría da decisión e hipóteses de alineación, máis que dunha participación directa na enxeñaría de modelos contemporáneos. Aínda que isto non invalida os seus argumentos, si significa que moitas das afirmacións máis fortes do libro se fan desde o que parece unha posición teórica, máis que desde un compromiso coa maneira en que os sistemas actuais se comportan, fallan ou son controlados na práctica. E moitas das persoas que traballan no campo semellan considerar as visións dos autores como valiosas e en certa medida razoables, pero excesivamente pesimistas.
Outra debilidade reside en como o libro trata o desacordo entre expertos. Nalgúns momentos os autores apelan a figuras destacadas como proba de que o perigo é amplamente recoñecido. Noutros, o libro pinta todo o ecosistema de ML e seguridade da IA como inxenuo, temerario ou intelectualmente pouco serio. Esta oscilación (ou ben “os expertos están de acordo connosco” ou ben “os expertos son alquimistas enganados”) funciona retoricamente, pero debilita a credibilidade epistémica do argumento. Nun tema no que a diverxencia entre expertos xa é ampla, esta invocación selectiva da autoridade pode parecer unha petición de principio.
Os últimos capítulos abandonan a argumentación e pasan a políticas prescritivas; aínda que os autores recoñecen a súa falta de pericia aquí, as propostas que fan (aínda que perfectamente consistentes e proporcionais coas crenzas expostas nas páxinas anteriores do libro) non parecen comprometerse seriamente coa factibilidade, os incentivos internacionais, as asimetrías xeopolíticas, os mecanismos de execución ou os paralelos históricos. Creo que son moi conscientes do extremadamente improbable que é un escenario de moratoria global ampla aplicada mediante vixilancia e posiblemente acción militar, o que probablemente explica que sitúen a probabilidade de extinción humana por ASI por riba do 90 por cento. Dá a sensación de que os autores simplemente erguen as mans en ademán de rendición, cunha mensaxe ao xeito de: “Estamos condenados, e non hai unha vía realista para saír disto salvo facer cousas que non imos facer. Estas propostas son a consecuencia necesaria de aceptar o que se afirma nos capítulos anteriores, así que isto eche o que hai”.
Sería agradable poder diseccionar o libro e dicir canto de precisos son os argumentos que presenta, ou que podería faltar, ser cuestionable, inconsistente ou excesivo, pero son, como dixen desde o comezo, un lector leigo nestes eidos, así que temo que ditos argumentos terán que buscarse noutro lugar.
Onde me deixa o argumento?
Comezarei dicindo que tomo en serio o contido do libro e que non teño razón para dubidar da sinceridade e da honestidade dos autores. Estou bastante seguro de que cren xenuinamente no que aquí din. Evidentemente, iso non significa que teñan razón.
O libro fixo un moi bo traballo aclarando para min os argumentos yudkowskianos centrais e disipando varios malentendidos comúns. Tras lelo, síntome inclinado a actualizar á alza o grao de seriedade co que deberiamos tomar os riscos dunha ASI, e vexo como o argumento se sostén lóxicamente, dadas as súas premisas. Pero o grao de credibilidade que lles concedo a esas premisas segue a ser algo limitado, e son fundamentalmente escéptico respecto da súa certeza e do seu marco. As principais cuestións que destacaría como necesitadas de clarificación para min (que xa adiantei nas notas aos capítulos que publiquei na miña bitácora en inglés) serían:
-O estilo epistémico do argumento paréceme cuasi relixioso: a intestabilidade, a irreversibilidade, a opacidade e a catástrofe súbita acumulan tantas características e coincidencias improbables e malditas que custa crer que sexan verdade, e transmiten unha sensación máis teolóxica que científica. Ademais, resultan demasiado convintes para o experimento mental do Apocalipse tecnolóxica e para a historia de salvación e significado dos frikis salvando o mundo. Persoalmente, desconfío moito das extorsións pascalianas, das longas cadeas de hipotéticos e das hipóteses non verificables empiricamente. E boa parte deste argumento parece deste tipo.
-Non estou totalmente convencido da súa autoridade epistémica dos autores: como dixen antes, Yud e Nate non son investigadores de ML, e os argumentos aquí dependen moito de parábolas, analoxías e intuición. A súa (ao meu ver) invocación inconsistente do consenso experto incrementa as miñas sospeitas.
-As prescricións políticas parecen tan desconectadas da realidade e do factible que resultan autoderrotistas, e fan preguntarse se os autores as consideran realmente viables.
Volvendo aos expertos, ou polo menos a aqueles máis coñecedores ca min, vexo que persoas racionais e tecnicamente informadas discrepan fortemente sobre o tema e non vexo que teñan un xeito efectivo de chegar a acordos baseados en evidencias. Aínda que algúns dos argumentos yudkowskianos sobre por que isto é así poidan ser correctos, isto aínda me levaría a unha estimación máis conservadora do risco dunha ASI (que, en arredor de 1/5, por exemplo, seguiría sendo absurdamente alto e requiriría contramedidas fortes coas que estaría de acordo).
Pecho o libro non convencido, pero agradecido pola oportunidade de me comprometer cun argumento presentado con tanta concentración e convicción. Os libros que obrigan un lector a afinar as súas propias posicións, xa sexa mediante acordo ou resistencia, cumpren unha función, e este fixo iso por min. E máis aínda cando aborda algo tan consecuente como a posibilidade da extinción humana. E definitivamente recomendo este libro a outras persoas.
O libro publicouse este ano en inglés. Penso que hai unha tradición española en curso, pero non está claro cando e onde sairá.
Un verdor terrible de Benjamín Labatut
The Parthians: The Forgotten Empire de Uwe Ellerbrock [E]
The Language of Mathematics de Raúl Rojas [E]
*If Anyone Builds It, Everyone Dies de Eliezer Yudkowsky e Nate Soares
*The Erogamer de Groon the Walker [E]
*Introduction to Real Analysis de R. Bartle & D. Sherbert
*Purgatorio de Dante Alighieri
The Parthians, the Forgotten Empire, de Uwe Ellerbrock, é a versión revisada dun estudo máis técnico que o autor —un historiador recoñecido e especialista no campo— publicara orixinalmente en alemán. Nela atopamos algo que se bota moito en falla: un relato histórico detallado do antigo e poderoso imperio parto. Os partos foron un dos grandes puntos cegos da Antigüidade, unha dinastía iraniana de orixe nómade que se fixo co control dos restos orientais do imperio de Alexandre a mediados do século III a.C. e gobernou unha vasta e solta federación que se estendía desde Mesopotamia até Asia Central, e que durou cincocentos anos (247 a.C.–224 d.C.) e a única gran potencia do Próximo Oriente capaz de frear a expansión romana durante séculos. Malia isto, os partos apenas nos deixaron evidencias históricas. O que sobreviviu —relatos gregos e romanos, inscricións dispersas, uns poucos óstracos e moedas— abonda para mostrar que posuían unha estrutura política sorprendentemente estable e poderosa, mais reconstruír calquera outra información sobre eles resulta unha tarefa dolorosa, feita a base de recoller e encaixar trazos escasos, fráxiles e indirectos.
Non é tarefa menor, e esa é a misión que Uwe Ellerbrock se marca neste libro. Case sen textos partos e con restos arqueolóxicos moi magros que se poidan asociar con seguridade ao período, o autor vese obrigado a loitar coas ferramentas que ten a man; de feito, a maior parte da evidencia textual extráese das moedas (retratos, marcas de ceca, símbolos, escritura, iconografía, mínimos fragmentos de lendas), e a numismática convértese no piar de todo. É abraiante a cantidade de auga que consegue espremer dunha rocha tan estéril.
A arqueoloxía axuda, pero só ata certo punto. Ningunha das grandes cidades do corazón do imperio —Ctesifonte, Ecbatana ou Susa— foi atopada ou escavada de maneira axeitada, e algunhas xacen baixo cidades modernas, polo que a substancia real debe proceder de lugares marxinais como Hatra, Dura Europos e Nisa. Ellerbrock consegue convertelas en estudos de caso: os óstracos e restos de produción de viño en Nisa, os monumentais iwáns e o panteón sincrético de Hatra, e a arte híbrida de Dura Europos convértense en fiestras ao mundo parto.
Que aprendín que me resultase realmente novo? Algúns puntos.
En primeiro lugar, o grao de descentralización do Estado parto. Ellerbrock case dubida en chamarlle “imperio” e prefire algo máis próximo a unha “mancomunidade parta”: unha constelación de reis vasalos, casas nobres, dinastas locais e rexións semi-autónomas que recoñecían a autoridade parta conservando as súas estruturas internas. Soa caótico, especialmente tendo en conta a velocidade á que eran asasinados algúns reis —un ritmo que faría ruborizar aos Xulio-Claudios—, pero o sistema resistiu, como dixemos, durante uns cinco séculos. Sexa o que for, funcionaba.
En segundo lugar, a súa excelencia militar. Os partos, orixinalmente un pequeno grupo indoiranio de nómades que chegaron a unha zona periférica do Imperio seléucida e acabaron conquistándoo enteiramente, herdaron das estepas un estilo de guerra baseado en cabalería pesada e moi móbil —os catrafactos—, que os romanos subestimaron repetidamente até que desastres como Carrhae lles obrigaron a repensar toda a súa doutrina militar. Hai que lembrar que finalmente Roma adoptou tropas similares, os clibanarii, “fornos ambulantes”, como os alcumaba a plebe, un alcume que se explica só baixo o sol do Próximo Oriente.
En terceiro lugar, o arco cultural é máis complexo que a secuencia limpa Aqueménidas → Partos → Sasánidas que adoitan suxerir as narrativas gregas, romanas e mesmo iranianas modernas (e que constitúen as nosas principais —e moi sesgadas— fontes sobre os partos). O Estado parto temperán era case agresivamente helenístico, nun intento dos seus monarcas iranianos de sumar o apoio dos seus súbditos helenizados; pero co tempo foron derivando cara ao que hoxe pensaríamos como cultura persa, no lingüístico, no relixioso e no artístico. A Partia era plurilingüe e multicultural: o grego mantívose en inscricións oficiais ben entrado o século I, o arameo era a lingua administrativa común, o parto acabou por emerxer como lingua burocrática estandarizada cun estilo escriturario notablemente coerente en enormes distancias. No eido étnico había gregos, persas, indoiranios, vellos babilonios e elamitas que aínda escribían en cuneiforme... unha auténtica mestura.
A relixión recibe tamén un tratamento amplo. Os partos conservaron case con certeza un marco zoroastriano, aínda que as probas son escasas: templos de lume, óstracos datados e iconografía monetaria. A discusión de Ellerbrock sobre a “Tique Parta”, unha deusa helenística transformada mediante reinterpretación iraniana, é un dos aspectos máis suxestivos do libro. Tamén se ofrece unha ollada breve a outras relixións presentes no imperio, como o maniqueísmo, cuxo fundador foi el mesmo un nobre parto, converténdoo nunha das poucas tradicións relixiosas de alcance global con raíces auténticamente partas.
En resumo, é un libro escrito a contrapelo das súas propias fontes. Ellerbrock constrúe unha reconstrución coidadosa e honesta a partir dos anacos que existen, e consegue algo máis sólido do que cabería agardar, pero aínda moito menos do que un desexaría. Probablemente esa é a maior limitación do libro, mais non se lle pode botar a culpa ao autor. Na medida en que conseguiu levantar parcialmente o veo que cubría os partos, e na medida en que lle interesen as civilizacións semi-esquecidas, paga claramente a pena.
Que eu saiba, non existe tradución deste libro ou do seu orixinal alemán ao español ou ao galego.
The Invention of Good and Evil de Hanno Sauer [E]
Deep Down Things de Bruce A. Schumm
*The Erogamer de Groon the Walker [E]
*Introduction to Real Analysis de R. Bartle & D. Sherbert
*Purgatorio de Dante Alighieri
*The Parthians: The Forgotten Empire de Uwe Ellerbrock [E]
Alguén interesado en grosos volumes da antigüidade?
As areas do tempo e a neglixencia dos homes roubáronnos innumerables obras mestras da literatura grega antiga. Boa parte do que permanece foinos transmitido só en fragmentos mutilados ou seleccionou textos máis curtos e menos ambiciosos. E porén, algunhas obras monumentais conseguiron pasar entre as gretas, e por iso debemos unha gratitude interminable aos amanuenses (literalmente, “serventes de man”) que traballaron durante séculos para manter estes textos vivos até a era da imprenta e da reproducibilidade sinxela. Entre os superviventes con maior número de caracteres podemos contar as Historias de Heródoto, a Geographica de Estrabón, os Deipnosophistae de Ateneo e a Bibliotheca historica de Diodoro Sículo. E na mesma liga están tamén as Vidas paralelas de Plutarco de Queronea (s. I–II d.C.), unha colección enorme que abrangue entre 230.000 e 250.000 palabras.
A verbosidade, con todo, pode ser unha beizón ambivalente. No caso de Plutarco, a escala descomunal das Vidas fixo que aínda non teñamos unha tradución completa e verdadeiramente moderna desta obra, a pesar da súa importancia histórica, estética e intelectual, en língua inglesa. O estándar segue a ser a edición bilingüe Loeb, traducida por Bernadotte Perrin entre 1914 e 1926, en once volumes, mais recentemente, Penguin publicou un mosaico duns cincuenta relatos biográficos, que cumpre ter en conta (útil mais lastrado por encadernacións fráxiles, papel opaco e unha disposición temática pouco natural). Oxford World’s Classics, con Robin Waterfield como tradutor, tamén comezou a abordar as Vidas de novo, aínda que só algúns volumes foron seleccionados ate o de agora. Mentres non chegue unha edición moderna de seu, temos que conformarnos co que hai, e na reseña de hoxe iso significa The Rise and Fall of Athens: Nine Greek Lives, traducido por John Marincola e Ian Scott-Kilvert.
Mais volvamos a Plutarco: quen era el?
Un grego, por suposto, nado nunha familia acomodada en Queronea, preto de Tebas —mais tamén un cidadán romano que viviu nos primeiros séculos do Imperio (fins do s. I e comezos do s. II d.C.), sobre todo baixo os Antoninos. Estudou na Academia platónica, tratou con nobres romanos destacados e exerceu diversos cargos locais (maxistrado da súa cidade natal, sacerdote en Delfos, organizador dos Xogos Píticos e, xa ao final da súa vida, procurador honorario de Acaia). Como intelectual, escribiu de maneira ampla, aínda que moito se perdeu; a súa obra máis duradeira, sen dúbida, son as Vidas paralelas, adoradas desde o Renacemento até a Ilustración (Shakespeare inspirouse nelas para as súas obras romanas, e os Pais Fundadores dos EE.UU. atoparon nelas unha lectura inspiradora).
Horacio resumiu a paradoxa cultural do mundo de Plutarco nun verso que os gregos acharían consolador para a súa impotencia política baixo Roma: Graecia capta ferum victorem cepit et artes intulit agresti Latio —“Grecia, conquistada, prendeu ao seu fero conquistador, e trouxo as artes ao rústico Lacio”. A frase non era só enxeñosa, senón certa: o Imperio Romano convertérase no estado helenístico universal que Alexandre non lograra construír, bebendo ata a última pinga da cultura grega —a súa arte, escritos, filosofía e lingua, que todo romano cultivado dominaba— e reforzándoa cun pragmatismo latino en habilidade militar, goberno, enxeñaría e dereito.
Como moitos dos seus contemporáneos, Plutarco atopou consolo nesta síntese e tomouna como base dun proxecto ambicioso: un vasto conxunto de biografías que emparellaban un grego célebre cun homólogo romano, simbolicamente cimentando o lazo entre a Grecia cativa e o Lacio rústico. Mais o proxecto tamén estaba fortemente marcado polo moralismo de Plutarco. Nisto seguiu non tanto a Grecia como a Roma —máis concretamente a Cicerón e ao seu dito: Historia vero testis temporum, lux veritatis, vita memoriae, magistra vitae, nuntia vetustatis. Para Plutarco, tamén, a historia xustificábase sobre todo como fonte de instrución ética: un tesouro de exemplos a imitar e de mazás podres a evitar.
E Plutarco goza do papel de moralista. Encántalle trazar conexións entre a aparencia externa e o carácter interior, e aínda que xeralmente é un escritor atractivo, o resultado pode soar moralizante, simplista e excesivamente centrado en anécdotas e minucias. Con todo, as Vidas paralelas son tanto un rexistro histórico decente (sobre todo para aquelas figuras das que pouco sabemos doutras fontes) coma unha exploración da natureza humana. Neste último sentido lembran a Teofrasto, sucesor de Aristóteles no Liceo, que compuxo un libriño sobre os Carácteres (Χαρακτῆρες), con bosquexos de diferentes tipos de personalidade, coa intención de expoñer vicios e ofrecer instrución moral.
The Rise and Fall of Athens preséntanos as biografías de nove gregos: oito atenienses e un espartano. As biografías foron elixidas para formar unha especie de mini-historia de Atenas, desde a súa fundación mítica ata o seu esplendor no século V, coa constitución democrática e a súa derrota e caída na guerra do Peloponeso, equivalente grego ao que para nós foron a Primeira e a Segunda Guerra Mundial. Excepto as dúas primeiras biografías, o período abrangue pouco máis dun século: desde a batalla de Maratón, en 490 a.C., até a capitulación de Atenas e a demolición das súas Murallas Longas ao son das frautas, en 404 a.C. As nove biografías son as seguintes:
Teseo: rei lendario de Atenas, un segundo Heracles, famoso por matar ao Minotauro e suposto fundador das institucións da cidade (incluíndo unha cuasi-democracia e o remate da monarquía).
Solón: lexislador e poeta de comezos do s. VI a.C., que promulgou reformas para aliviar as débedas, ampliar a participación política, evitar a guerra civil e sentar as bases da futura democracia ateniense.
Temístocles: un dos primeiros líderes do partido popular, arquitecto do poder naval ateniense e artífice da vitoria en Salamina (480 a.C.) contra Persia; máis tarde foi ostracizado e morreu no exilio.
Arístides: coñecido como “o Xusto”, rival de Temístocles e cabeza do partido aristocrático; respectado pola súa xustiza ao xestionar as finanzas da Liga de Delos e modelo de servizo público incorruptible.
Cimón: fillo de Milcíades (o comandante en Maratón), xeneral que expandiu o poder ateniense despois das guerras médicas, asegurando vitorias contra Persia pero aliñado politicamente con Esparta.
Pericles: o estadista por excelencia da Idade de Ouro ateniense; defensor da democracia, patrocinador do Partenón e líder durante os primeiros anos da guerra do Peloponeso.
Nicias: xeneral ateniense rico, supersticioso e excesivamente cauteloso, cabeza do partido aristocrático; negociou a Paz de Nicias (421 a.C.); liderou desastrosamente (contra a súa vontade) a Expedición Siciliana, onde foi capturado e executado.
Alcibíades: o político e xeneral máis brillante pero tamén o máis imprudente do período; cambiou de lealdade entre Atenas, Esparta e Persia; converteuse nun símbolo do carisma arruinado pola ambición.
Lisandro: almirante espartano que derrotou Atenas en Egospótamos (405 a.C.), pondo fin á guerra do Peloponeso; non era persoalmente avarento, mais si amoral e defensor dunha hexemonía espartana implacable; morreu na guerra de Corinto, en Haliarto (395 a.C.).
Como dixemos, as biografías entrelázanse, tecendo un tapiz da historia ateniense: a gloria das guerras médicas, o ascenso do imperio, a consolidación da democracia e a longa loita con Esparta polo dominio de Grecia. As historias son moi lexibles, cheas de encanto narrativo e de anécdotas. Plutarco fai un esforzo sincero pola exactitude, citando moitas fontes que hoxe se perderon (Teopompo, Éforo e outros), mais o seu método achégao máis a Heródoto, co seu gusto compartido polo rumor e o detalle dubidoso, ca a Tucídides e a súa análise rigorosa.
Tamén se deixan sentir os seus prexuízos, aínda que xeralmente de maneira atenuada: tende a unha visión moderada, lixeiramente pro-aristocrática, presentando a democracia e o partido popular cunha ollada máis escéptica, mentres que a miúdo retrata as figuras aristocráticas como máis fiables. As súas visións filosóficas e relixiosas tamén revelan un espírito de moderación e equilibrio: aínda respecta os oráculos e a relixión tradicional, mais ao mesmo tempo admite explicacións naturalistas do destino e dos fenómenos naturais que xurdiran, con polémica, na Atenas do s. V. Case de maneira averroísta, preséntanos fe e razón non como inimigas senón como complementarias, e ofrece reflexións nesa liña ao longo da obra.
En resumo, o libro é unha lectura altamente entretida que refresca a memoria sobre os fundamentos históricos da nosa civilización e ao mesmo tempo invita a reflexionar sobre os límites das fontes que nos chegaron. Pode que aínda esteamos á espera dunha tradución completa, fresca e moderna das Vidas paralelas, pero este volume ofrece un excelente aperitivo.
No que atinxe a traducións, non me consta que haxa nada verquido ao galego. En castelán hai unha versión completa, editada como merecen ser editados os libros, en Gredos, e traducida en 14 volumes por unha equipa de helenistas (entre eles Aurelio Pérez Jiménez, José García López, Antonio Guzmán Guerra, etc.), ao longo de varias décadas e que está descatalogada e carísima (con algo de sorte, quizaves poidas atopar algúns exemplares en bibliotecas escolares ou municipais). Hai reedicións de ínfima calidade física por parte de RBA (que absorbeu a Gredos cando ésta pechou).
