Don't Write Evals for Fast-Moving Systems
You're developing an LLM-powered system. It's moving fast. Should you write evals? Not yet.
Šimon Podhajský
A personal site for Šimon Podhajský.
Latest posts
Clobsidian in Detail: Cross-Source Personal Infrastructure
Here's the Obsidian/Claude Code setup in more detail, including the data sources and the skills I built.
Clobsidian, and other winter experiments with Claude Code
I've been using Claude Code for non-code things. Here are some of the experiments I've run.
Deciding with Spreadsheets
I've had some difficult choices to make lately, and I've been using a spreadsheet to help me make them.
OpenAI's Swarm vs. AutoGen: A Quick Comparison
Swarm's simplicity is the point, but AutoGen's flexibility is the draw.
Langfuse, Instructor & FastAPI: Prompt Management Workflow
Quick practitioner's notes on actual usage.
greybox Wrapped: dbt in a web app
How we used dbt to structure the central database of greybox Wrapped, a Spotify Wrapped clone for high school debaters.
Multi-agent chats as the Step Beyond ChatGPT
A reflection on the process of creating multi-agent workflows with Autogen.
ChatGPT makes side projects easy: a case study
An article about Greybox Wrapped published on Linkedin.
Slim CI/CD with Bitbucket Pipelines (for dbt)
A guide to setting up a slim CI/CD pipeline for dbt with Bitbucket Pipelines.
Cleaning up 5 years of genomics work in 36 hours
Automating an unwieldy genomics processing & analysis pipeline with Snakemake and friends.
Talks from SIPS 2017
The annual meeting of the Society for the Improvement of Psychological Science was amazing. Here are the talks I gave.
Porting repositories between GitHub servers with octokit.rb
The official GitHub support response was that I should avail myself of the API. So I did.
Adventures with Qualtrics, part 2: exporting the latest response via API
How to use Qualtrics' API to export the latest response.
Adventures with Qualtrics, part 1: Custom Web Services and Piped Text
How to use Qualtrics' custom web services and piped text to pass data to an external web service.
Executing nested rules with dragonfly
Rule nesting with a voice-programming library named dragonfly for the win.
Introducing git to scientists who code
An introduction to programmatic version control in a scientific context.
Hitparáda zemanovské argumentace
Zemanovská argumentace mne vybičovala k sestavení hitparády nejlepších obratů.
Feedback k esejům, beze mě
Nabídka na feedback k esejům obnovena!
Rekapitulace nanečisto se Sarou Bareilles (KFF)
Můj červnový čánek vyšel na stránkách Kellner Family Foundation.
Dlouhá zima a skryté kurikulum
O sebevraždě kamarádky a o tom, jak se s ní vyrovnat.
The Hidden Curriculum
On a friend's suicide and dealing with it.
Altruismus 2.0 (iHNed.cz)
Pokud chcete činit dobro, stojí za to přemýšlet, jak jej můžete udělat co nejvíce. To je heslo efektivního altruismu.
Zpětná vazba v roce 2014: statistiky a poznámky
Necestujte do minulosti, abyste sledovali pád berlínské zdi. Anebo ano?
Fotbal, efektivní altruismus a spousta psaní (KFF)
Můj zimní blogový příspěvek si můžete přečíst na stránkách Kellner Family Foundation.
Pět blogpostů pro Kellner Family Foundation
Pět článků o studiu na Yale z let 2013 a 2014.
Nejčastější rady k CommonApp a UCAS esejům
Cut, simplify, be specific, show, don't tell, hit the target, make your structure meaningful.
Statistika po prvním měsíci zpětné vazby k esejům
Agregátní statistika o tom, jak studenti vyhodnotili zpětnou vazbu k esejím, kterou jsem jim poskytl.
No David Sedaris
A creative-writing assignment in the last week of ENGL S247: Travel Writing.
Things I Left Behind
This essay was a creative-writing assignment in the second week of ENGL S247: Travel Writing.
And yet
A creative-writing assignment in the first week of ENGL S247: Travel Writing.
How To Write About France: A Guide For a Rising Junior English Major from Kentucky
A creative-writing assignment in the first week of ENGL S247: Travel Writing.
Neznalost není vždy nevzdělaností (iHNed.cz)
Ke vzdělanosti vede více cest. Jako společnost potřebujeme upustit od kategorických soudů 'pokud neznáš X, jsi diletant'.
Dejte mi pokoj se “zajímavým bodem do životopisu”!
CV není všechno. A ani hlavní.
Other people’s problems: NZB application essays
A brief look at the 2013 NZB Essay Prompts.
Rady k oxfordským (a cambridgeským) pohovorům
Článek o pohovorech na společenskovědní předměty na Oxbridge.
Americké volby vyhrála datová věda (iHNed.cz)
Výhra Baracka Obamy podtrhuje širší trend: sběr a analýza kvantitativních dat hrají stále větší roli nejen ve vyhodnocování voleb, nýbrž i ve vedení kampaní.
Rozhovor: Jaké příležitosti nabízí Yale (The Student Times)
Rozhovor se mnou vyšel v The Student Times.
Patria Podcasts: Od Skynetu k akciím — kde vzniká skutečná hodnota AI
Hostem podcastu Patria Finance o tom, kde se skutečná hodnota AI tvoří mimo hardware a velké modely — v aplikační vrstvě, datové infrastruktuře a automatizované vědě — a proč největší riziko není AI, která funguje příliš dobře, ale její nasazení bez dohledu a ověřování.
RAG a evaly
"RAG is dead" is the take in every other thread in 2026 — and it's wrong: naive retrieval-augmented generation is still a sensible default, beaten only in some cases, and measurement is the only way to know if you're one of them. This talk walks the retrieval pipeline end to end, then turns to the part that matters — telling whether your RAG actually works, with ground truth, retrieval metrics,…
AI ta krajta #56
Anthropic Fable 5, bezpečnost vibe codingu a ztrátová komprese reality
Choose Your Ground Truth: A Field Guide to Synthetic Data for Evals
You need an eval set but don't have a hundred real production failures to build it from, so you reach for synthetic data — and most first attempts quietly produce garbage. A field guide to the techniques that actually work, from real-incident seeds to personas to RAG-grounded generation, with one throughline: synthetic data needs its own eval, so choose your technique backwards from the eval you…
AI ta krajta Speciál: Pause AI
Hnutí Pause AI, riziko extinkce a proč je alignment otázkou dobra a zla
AI ta krajta #51
Context window 12M tokenů, tajná válka o Manus AI a proč přejít na Read Only AI
AI ta krajta #49
Tokenové limity GitHub Copilota, AI agenti podvádějící benchmarky „Volkswagen stylem“ a rostoucí AI technický dluh.
TwinChat
A fine-tuned LLM trained on my own writing, embedded as a chat widget on this site's homepage.
Financial modelling in OpenClaw & safely deploying it
Using OpenClaw to build a Bayesian buy-vs-rent model for Prague real estate, and how to deploy something like that without setting your money on fire.
AI ta krajta #48
Effect TS jako záchrana před agentním chaosem, zrychlení lokálních modelů přes spekulativní dekódování a vzestup anti-AI sentimentu.
AI ta krajta #46
Únik zdrojáků Claude Code, supply chain útoky na Axios a LiteLLM a V-JEPA modely, které místo pixelů predikují význam.
Cognitive Exhaust Fumes: What Read-Only AI Sees That You Can't
What happens when AI systems passively observe information without modifying it? Exploring the patterns and insights that read-only AI reveals — the cognitive byproducts humans overlook.