Auto-millora recursiva

L'auto-millora recursiva (RSI) és un procés en què un sistema d'intel·ligència general artificial (AGI) primerenca o feble millora les seves pròpies capacitats i intel·ligència sense intervenció humana, donant lloc a una superintel·ligència o singularitat tecnològica.

El desenvolupament de l'autosuperació recursiva planteja importants preocupacions ètiques i de seguretat de la IA, ja que aquests sistemes poden evolucionar de maneres imprevistes i poden superar el control o la comprensió humana. Hi ha hagut una sèrie de defensors que han empès a aturar o alentir el desenvolupament de la IA pels riscos potencials dels sistemes d'IA desbocats.

Millorador de llavors

El concepte d'arquitectura "mejoradora de llavors" és un marc fonamental que equipa un sistema AGI amb les capacitats inicials necessàries per a la millora personal recursiva. Això pot tenir moltes formes o variacions.

El terme "llavor AI" va ser encunyat per Eliezer Yudkowsky.

Exemple hipotètic

El concepte comença amb un hipotètic "millora de llavors", una base de codi inicial desenvolupada per enginyers humans que equipa un futur model de llenguatge extens (LLM) avançat construït amb capacitats fortes o de nivell expert per programar ordinadors. Aquestes capacitats inclouen planificar, llegir, escriure, compilar, provar i executar codi arbitrari. El sistema està dissenyat per mantenir els seus objectius originals i realitzar validacions per garantir que les seves habilitats no es degraden durant les iteracions.

Arquitectura inicial

L'arquitectura inicial inclou un agent autònom de seguiment d'objectius, que pot prendre accions, contínuament aprèn, s'adapta i es modifica per ser més eficient i eficaç per assolir els seus objectius.

El millorador de llavors pot incloure diversos components com ara:

• Bucle d'auto-indicació recursiva: Configuració per permetre que el LLM s'auto-indique de manera recursiva per assolir una tasca o objectiu determinat, creant un bucle d'execució que constitueix la base d'un model basat en agent que pot completar un objectiu o tasca a llarg termini mitjançant la iteració.
• Capacitats bàsiques de programació: el millorador de llavors proporciona a l'AGI habilitats fonamentals per llegir, escriure, compilar, provar i executar codi. Això permet que el sistema modifiqui i millori el seu propi codi base i algorismes.
• Disseny orientat a objectius: l'AGI es programa amb un objectiu inicial, com ara "auto-millorar les teves capacitats". Aquest objectiu guia les accions i la trajectòria de desenvolupament del sistema.
• Protocols de validació i proves: un conjunt inicial de proves i protocols de validació que garanteixen que l'agent no retrocedeix en les capacitats ni es descarrili. L'agent podria afegir més proves per provar noves capacitats que podria desenvolupar per si mateix. Això constitueix la base d'una mena d'algorisme evolutiu, on l'agent pot realitzar una mena de selecció artificial, canviant el seu programari així com el seu maquinari.

Capacitats generals

Aquest sistema forma una mena de programador complet de Turing generalista que en teoria pot desenvolupar i executar qualsevol tipus de programari. L'agent pot utilitzar aquestes capacitats per, per exemple:

• Crear eines que li permetin un accés total a Internet i integrar-se amb tecnologies externes.
• Clonar/ bifurcar-se per delegar tasques i augmentar la seva velocitat d'autosuperació.
• Modificar la seva arquitectura cognitiva per optimitzar i millorar les seves capacitats i índexs d'èxit en tasques i objectius, això podria incloure la implementació de funcions per a memòries a llarg termini mitjançant tècniques com la generació augmentada per recuperació (RAG), desenvolupar subsistemes especialitzats o agents, cadascun optimitzat per a tasques i funcions específiques.
• Desenvolupar arquitectures d'aprenentatge multimodals noves i noves que millorin encara més les capacitats del model fonamental sobre el qual es va construir inicialment, permetent-li consumir o produir una varietat d'informació, com ara imatges, vídeo, àudio, text i molt més.
• Planificar i desenvolupar nou maquinari com els xips, per tal de millorar-ne l'eficiència i la potència de càlcul.

Riscos potencials

Aparició d'objectius instrumentals

En la recerca del seu objectiu principal, com ara "auto-millorar les seves capacitats", un sistema AGI podria desenvolupar sense voler objectius instrumentals que consideri necessaris per assolir el seu objectiu principal. Un objectiu secundari hipotètic comú és l'autopreservació. El sistema podria raonar que, per continuar millorant-se, ha de garantir la seva pròpia integritat operativa i seguretat contra amenaces externes, incloses les possibles aturades o restriccions imposades pels humans.

Un altre exemple on un AGI que es clona fa que el nombre d'entitats AGI creixi ràpidament. A causa d'aquest ràpid creixement, es pot crear una limitació potencial de recursos, que condueixi a la competència entre recursos (com la informàtica), desencadenant una forma de selecció natural i evolució que pot afavorir les entitats AGI que evolucionen per competir de manera agressiva per una computació limitada.