När AI-agenter blir bättre flyttar flaskhalsen

👋 Hej alla 782 prenumeranter!

AI-agenter handlar inte längre bara om att få en modell att producera text, kod, analyser eller förslag. Det klarar de redan allt bättre.

Då blir den riktigs ställda frågan istället hur styr vi arbetet runt agenten.

Vad ska den få göra? När ska den agera? Vilket underlag ska den använda? Vilka system får den röra (och framförallt inte röra)? Hur verifieras resultatet? När krävs mänskligt godkännande? Och hur följer vi upp kostnad, kvalitet och risk?

När AI kan skapa mer output snabbare och dessutom förbättrar resultatet blir det svåra inte själva produktionen. Det svåra blir att välja rätt uppgift, ge rätt context, sätta rätt begränsningar, köra på rätt trigger och avgöra när resultatet ändå är tillräckligt bra.

Det gäller allt. Inte bara kod utan även supportärenden, rapporter, analyser, kampanjer, säljflöden, dokumentgranskning, research, juridiska underlag, ekonomi, HR, compliance eller interna processer.

Ju mer en agent kan göra desto viktigare blir styrningen runt den.

Gör man inte det här rätt så hamnar man lätt i en riktigt farlig loop där man bara skapar mer arbete: fler utkast att granska, fler beslut att ta, fler fel att upptäcka och fler processer att städa upp.

Det ser jag som den absolut största faran i den utvecklingen vi ser just nu. Man kan lätt se det på dokumentstorlekarna som gått från enskilda punkter till kortare doktorsavhandlingar när det kanske skulle fungera bäst som enskilda punkter.

Det här kan inte upprepas för många gånger. Agenter fungerar bättre i miljöer med tydliga mönster.

Saker som dokumentmallar, namnstandarder, mappar, ägarskap, godkännandeflöden, policies, checklistor, prompts, evals, connectorer, behörigheter och tydliga regler för vad som får ske automatiskt kommer vara det viktigaste att ha ordning på när man väl ska släppa in agenter i ditt företag.

Det är ofta ett rejält administrativt förarbete som krävs men det man gör är att bygga en agent-infrastruktur.

En agent som förstår hur organisationen arbetar kan hjälpa till på riktigt. En agent som måste gissa kommer aldrig kunna hjälpa till. Den kommer istället bli dyr, långsam och skapa fler risker än möjligheter.

Standardisering är därför inte motsatsen till flexibilitet. Det är det som gör skalbar flexibilitet möjlig. Gör detta rätt från början och standardisera processerna framåt så slipper man huvudvärken senare.

Modellerna blir bättre och bättre för varje månad och är redan nu sällan den enda begränsningen. Ofta är problemet att agenten saknar rätt underlag.

En agent behöver förstå uppgiften, historiken, målet, begränsningarna, besluten, systemen, datan, språket, mottagaren och risknivån.

Fel kontext ger fel output även med en oerhört stark modell. Bra kontext gör däremot enklare modeller användbara och starka modeller betydligt mer kraftfulla.

Man borde som bolag ganska snart kunna sluta ställa sig frågan om vilken modell (nåja, än så länge är moln-modellerna betydligt mer kraftfulla än de lokala modellerna) man använder och istället fråga sig vilken arbetsyta får agenten agera i.

Det räcker inte att en agent säger att den har gjort något. Den måste kunna visa att resultatet håller den kvalitet som den bör kunna hålla.

För utveckling kan det bland annat handla om tester, rendering, screenshots och code reviews. För andra flöden kan det handla om källkontroll, jämförelse mot policy, faktagranskning, dubbla agentgranskningar, avvikelsekontroller, revisionsloggar, dashboards och mänskligt godkännande vid hög risk.

Målet med framtida agentflöden kommer vara att få den att kunna verifiera stegen av att ha gjort uppgiften, kontrollerat den mot rätt kriterier, dokumenterat osäkerheter och markerat vad som kräver mänskligt beslut autonomt.

Det här är något man lär sig den hårda vägen tycker jag. Och det här tåls att återupprepas när vi befinner oss i den hastighet av utveckling som vi faktiskt är i. Det finns nämligen en stor risk att organisationer bygger för mycket runt dagens begränsningar. Gör inte det. Tänk lite större.

Man skapar detaljerade specialflöden, hårdkodade instruktioner och väldigt smala system som löser ett specifikt problem men blir svåra att uppdatera när modellerna snabbt blir bättre (om man inte bygger in det i flödet som självuppdaterande element).

Det behövs en solid struktur men man måste hålla sig borta från att det blir för stelt

En bra agentarkitektur bör bygga på tydliga mål, tydliga gränser, bra kontext, hårdare evals och system som enkelt kan byta modell och arbetsmetod utan att allt måste göras om.

Bygg inte för antagandet att “AI kommer aldrig att klara detta” utan bygg istället så att nästa modellversion kan tas i bruk direkt när den släpps.

AI-agenter kommer inte skapa störst värde där de bara producerar mer output.

Värdet uppstår när de kan förstå rätt context, agera i rätt system, följa rätt policy, verifiera sitt arbete och eskalera rätt saker till människor.

Det är där konkurrensfördelen kommer ligga och inte i att ha tillgång till modellerna utan istället i att ha byggt organisationen, systemen och processerna som gör modellerna användbara i drift.

PS. Om du byggt något eller testat något spännande AI-verktyg eller skapat en häftig automatisering eller gjort något kreativt med AI den här veckan, svara gärna och berätta! Jag är alltid nyfiken på vad ni pysslar med. 🎈