¡Hola! Soy Oscar 👋, y por aquí estoy de nuevo!!!
Experimentar en producto e innovación ha sido mi obsesión en los últimos 10 años.
Desde Bancos hasta consumo masivo, pasando por fintech, gaming, healthtech y hasta banca de inversión, experimentar me ha permitido liderar el diseño, desarrollo, y escalamiento de productos y servicios digitales como Movii, Mensajeros Urbanos, Buildbox, Kushki, Google for education, Chromebooks, por nombrar algunos.
Pero experimentar, en teoría, ahora se ve muy diferente a como se veía hace unos años.
¿Por qué?
Por que ahora existe la inteligencia artificial generativa.
Simple y sencillo. Ahora podemos simular escenarios, personas e interacciones mucho más rápido, y más costo-eficiente que antes.
Y a esa simulación se le conoce como Experimentación Sintética…sin embargo, ¿si es experimentación? o solo ¿exploración?
Si aún no te has suscrito a Xtrategia, te invito a hacerlo dando click aquí
La IA colapsó los costos de experimentar — no la jerarquía de lo que cuenta como evidencia válida.
Un prototipo funcional que antes costaba $20,000 y tres semanas ahora cuesta $50 y dos horas. La calidad de evidencia que produce es exactamente la misma.
Los usuarios sintéticos no subieron en la jerarquía de evidencia. Siguen siendo: útiles para explorar, insuficientes para decidir.
El error del mercado: tratar tecnología de exploración como si fuera tecnología de validación. Son cosas distintas, desde 2019, cuando Osterwalder y Bland lo formalizaron en sus metodologías de experimentación. La IA no cambió eso.
La única excusa legítima para no experimentar: “no tenemos acceso a clientes reales” nunca fue una excusa de presupuesto. Y sigue sin serlo.
Hay un debate que lleva meses circulando en equipos de producto e innovación:
¿funciona la experimentación con IA?
Se discute en foros, en conferencias, en retrospectivas de equipos que llevan un año usando herramientas sintéticas sin resultados claros.
En mi opinión hay un problema en la pregunta en sí misma.
Preguntar si la experimentación con IA “funciona” es como preguntar si los instrumentos de medición “funcionan” sin especificar qué quieres medir ni con qué precisión.
Un termómetro funciona perfectamente para saber si tienes fiebre. No funciona para diagnosticar qué la está causando.
Lo mismo aplica a cada herramienta de AI.
La pregunta correcta debería ser: ¿qué tipo de evidencia produce cada herramienta, y dónde cae en la jerarquía de lo que necesitas para tomar una decisión real?
Sin esa distinción, cualquier respuesta es inútil.
Una encuesta con 10 personas reales y una simulación con 10,000 agentes sintéticos no son versiones del mismo proceso, una más lenta y otra más rápida, pero son iguales de profundas? se pueden observar los mismos comportamientos de los usuarios?
El criterio para evaluar no es si produce output, es si ese output reduce genuinamente la incertidumbre de la decisión específica que necesitas tomar.
📌 Si llegaste hasta aquí, es porque te interesa ir más allá de la teoría, así que te invito a Xtrategas mi comunidad para profesionales que lideran en producto, operaciones, tech, innovación y transformación digital en Latinoamérica.
Es un espacio donde compartimos lo que realmente funciona en el día a día.
¿Te unes?
En 2019, Alex Osterwalder y David Bland publicaron Testing Business Ideas, el catálogo de experimentos de negocio jamás organizado. Su contribución central no fue la lista de 44 experimentos: fue la estructura que los ordenaba.
Bland y Osterwalder partieron de una observación que suena simple pero que la mayoría de los equipos pasa por alto: no todos los experimentos producen el mismo tipo de evidencia.
Un experimento puede ser barato y rápido, o caro y lento. Pero esa dimensión de costo y velocidad es independiente de otra dimensión igualmente crítica: la fortaleza de la evidencia que produce.
Una entrevista de descubrimiento con diez clientes reales toma 3 semanas y tiene un costo medio. Produce evidencia débil, porque el cliente te está diciendo lo que piensa, no lo que hace cuando tiene que tomar una decisión real con consecuencias reales.
Una pre-venta de cien usuarios reales puede tomar semanas y costar más. Produce evidencia fuerte, porque el cliente no está respondiendo una pregunta hipotética, está moviendo dinero.
La evidencia fuerte no se puede sustituir necesariamente con velocidad.
Se puede llegar a ella más rápido o más lento, pero su naturaleza, el hecho de que requiere comportamiento real bajo condiciones reales, no cambia.
Aquí está lo que la IA transformó en esa estructura, y lo que dejó intacto:
El escalón fuerte no se movió.
Una pre-venta real sigue requiriendo las mismas condiciones de siempre: un cliente que tiene un problema, una solución concreta frente a él, y la posibilidad real de que decida no comprar.
Eso no se puede sintetizar porque la información que produce depende precisamente de que el riesgo sea mutuo. El cliente que llena un formulario no perdió nada. El que pone su tarjeta de crédito, sí.
Esa asimetría es la fuente de la evidencia, y no hay modelo de lenguaje que la replique…aún.
El escalón medio era el mayor obstáculo operativo para la mayoría de los equipos de innovación y producto. No era falta de ideas ni de metodología.
Era que construir un prototipo funcional, una landing page con seguimiento de conversión, un flujo de onboarding simulado, todo eso requería desarrollo de software, diseño, coordinación entre equipos, y semanas de trabajo.
El costo de entrada a un experimento de evidencia media rondaba entre USD $5,000 y $50,000 dependiendo de la complejidad, y el tiempo mínimo era de semanas.
Pues bien, hoy esa barrera de costo colapsó.
Herramientas como Lovable, v0 o Bolt permiten construir prototipos funcionales, interfaces completas y flujos de producto desde descripciones en lenguaje natural, en horas y por decenas de dólares.
Lo que antes requería un sprint de desarrollo ahora ocupa una tarde.
Esto no es solo una mejora incremental, es un cambio de orden de magnitud que afecta directamente qué experimentos son posibles para un equipo, con el presupuesto y restricciones que tiene disponible hoy.
Las implicaciones son concretas.
Un equipo que antes podía hacer tres experimentos de evidencia media al año, limitado por presupuesto y capacidad de desarrollo, ahora puede hacer treinta.
Eso no solo acelera el aprendizaje: cambia la naturaleza del riesgo.
Cuando cada experimento cuesta $50,000, la presión para que “funcione” es enorme, y esa presión distorsiona el diseño del experimento hacia confirmar en lugar de descubrir.
Cuando cuesta $200, puedes diseñarlo honestamente, incluyendo la posibilidad real de que la hipótesis sea incorrecta.
Esa es la transformación genuina que la IA trajo a la experimentación: no mejores respuestas, sino más oportunidades de hacerse las preguntas correctas sin que el costo de equivocarse sea un blocker.
Como exploré en La paradoja del juicio, la velocidad que la IA introduce también tiene un costo oculto, cuando la fricción desaparece, también desaparece parte del criterio que se construye al superar esa fricción.
Pero para experimentación, la velocidad es casi siempre una ventaja neta: más ciclos, más aprendizaje, más rápido.
Si aún no te has suscrito a Xtrategia, te invito a hacerlo dando click aquí:
Los usuarios sintéticos no subieron en la jerarquía de evidencia, justamente porque aún no logramos replicar la intención real de compra o consumo.
Entraron en el escalón más bajo de la escalera, en dónde tenemos los experimentos con evidencia débil, pero que siguen siendo útiles sobra la base de un concepto clave en innovación: la exploración temprana.
Son exploración inicial, más rápida, más barata y más escalable que las encuestas tradicionales.
Pueden ayudar a un equipo a reducir cincuenta hipótesis a cinco antes de invertir tiempo en hablar con clientes reales. Eso tiene valor.
El problema surge cuando se les asigna el rol que corresponde al escalón medio o fuerte, cuando se usan para tomar decisiones que requieren evidencia de comportamiento real.
Lo confirma el estudio más riguroso del campo: Stanford y DeepMind lograron 85% de precisión replicando personas reales con agentes sintéticos, pero bajo una condición que casi nadie cita.
Cada agente estaba construido sobre dos horas de entrevista real y detallada con la persona que representaba.
Sin ese input, los agentes no son réplicas de tu usuario, son promedios estadísticos de los datos de entrenamiento del modelo, que reflejan voces predominantemente anglosajonas, urbanas y tecnológicamente alfabetizadas.
Hay además un problema estructural en los modelos que los hace inadecuados para validación completa: los LLMs tienen tendencia documentada a la adulación.
Están entrenados para producir respuestas útiles y bien recibidas, lo que en contexto de investigación se traduce en feedback excesivamente positivo.
A medida que añades más detalle a una persona sintética, su respuesta se vuelve más positiva, no más precisa.
El ejemplo más sonado: en las elecciones de Estados Unidos en 2024, personas sintéticas predijeron victoria demócrata en todos los estados sin excepción. No porque los modelos tengan sesgo político intencional, sino porque no pueden modelar con precisión lo que las personas hacen bajo condiciones reales de incertidumbre, presión social y contexto específico.
Una herramienta que estructuralmente tiende a decirte lo que quieres oír no es un instrumento de validación completa.
Es un instrumento de exploración con un riesgo de confirmación incorporado que hay que gestionar activamente y moldear con contexto suficiente.
Como profundicé en mi entrada sobre El Hybrid Sandwich, el uso correcto no es elegir entre sintético y real, es entender en qué momento de tu proceso de aprendizaje cada uno tiene su lugar.
En mi experiencia: Sintético para afinar las preguntas antes de la conversación real. Humanos reales para obtener las respuestas que importan.
La caída de costos en el escalón medio eliminó un conjunto de razones que los equipos usaban consistentemente para no experimentar.
Algunas eran legítimas. Ya no lo son.
”No tenemos presupuesto para construir un prototipo.” Esta fue durante años la barrera más citada, y la más costosa en términos de oportunidades perdidas. Si construir algo que se pudiera poner frente a un usuario requería semanas de desarrollo y decenas de dólares, el presupuesto era un filtro real. El presupuesto dejó de ser el cuello de botella. La falta de claridad sobre qué hipótesis probar tomó su lugar, y esa es una conversación diferente.
”No tenemos developers disponibles.” El argumento de la dependencia técnica fue válido en una época en que toda interacción con código requería un desarrollador. Esa época terminó. La capacidad técnica para construir artefactos de evidencia media ya no vive exclusivamente en el equipo de ingeniería.
”Necesitamos más información antes de construir algo.” Este es el más peligroso de los tres, porque suena prudente. La lógica implícita es que hay un nivel de certeza que se puede alcanzar antes de experimentar, y que alcanzarlo justifica el tiempo invertido en research previo. El problema es que en innovación, la información que más necesitas es precisamente la que solo obtienes cuando pones algo real frente a alguien real. El research previo puede afinar la pregunta. No puede responderla por completo.
”No tenemos acceso a clientes reales.” Esta nunca fue una excusa de presupuesto ni de tecnología. Es una excusa de prioridad. Si no tienes acceso a los clientes que usarían tu producto, el problema no es que la IA no llegó lo suficientemente lejos, es que no has construido ese acceso, y ninguna simulación lo reemplaza.
La IA hizo que explorar en etapa temprana sea más barato y rápido. No hizo que sea más fácil tomar buenas decisiones, eso sigue del lado del humano.
La jerarquía de evidencia no cambió porque no puede cambiar, está determinada por la naturaleza de lo que queremos saber, no por el costo de los instrumentos que usamos para saberlo o la velocidad de implementación.
Saber si alguien compraría tu producto requiere ponerlo en una situación real donde pueda comprarlo. Eso no tiene atajo tecnológico porque el atajo destruiría la condición que produce la información.
Lo que cambió es el costo de los pasos previos y su velocidad de implementación, y ese cambio es real y significativo.
Un equipo que use bien la disminución de costos puede llegar al momento de evidencia fuerte más rápido, con hipótesis más afinadas y con menos recursos quemados en iteraciones que habrían podido resolverse antes.
Eso es una ventaja estructural frente a los equipos que confunden velocidad sintética con profundidad de aprendizaje.
La distinción no es sutil.
Un experimento diseñado para fallar si la hipótesis es incorrecta produce aprendizaje.
Un proceso diseñado para producir outputs que parezcan validación produce confianza, que es algo diferente, y en innovación, algo considerablemente más peligroso.
Cuando un equipo no sabe algo, hay incertidumbre, y esa incertidumbre funciona como señal: sigan investigando, no comprometan recursos todavía.
Cuando un proceso produce outputs que parecen validación, un reporte de 47 páginas con insights por segmento, una simulación de 10,000 usuarios con correlaciones estadísticas, el equipo siente que ya sabe. No que sospecha, no que exploró: que validó.
Esa sensación es confianza. Y la confianza hace exactamente lo opuesto a la incertidumbre: detiene la investigación y activa el compromiso de recursos.
El peligro es que la incertidumbre es visible y la confianza falsa es invisible.
Un equipo inseguro sigue haciendo preguntas. Un equipo falsamente seguro empieza a contratar, construir e invertir, con la misma energía que tendría si la evidencia fuera real, pero sin serlo.
En innovación eso es más costoso que simplemente no saber, porque el error se descubre tarde y con mucho capital ya comprometido.
Mapea cada herramienta de tu stack en la jerarquía antes de asignarle un rol. Por cada herramienta que uses para explorar, hazte esta pregunta: ¿qué evidencia produce según la investigación disponible, no según lo que promete? Esa distinción determina qué decisiones puede informar válidamente.
Usa la disminución de costos para hacer más ciclos reales, no más ciclos sintéticos. Si antes hacías tres experimentos al año por presupuesto, ahora puedes hacer doce. Pero esos doce deben incluir usuarios reales en el escalón de validación, no reemplazarlos con doce rondas de agentes sintéticos.
Define el umbral de decisión antes de correr el experimento. La Tarjeta de Experimento de Bland tiene cuatro campos: Hipótesis, Método, Señal de éxito y Runtime. Si no puedes llenarlos antes de empezar, no tienes un experimento, tienes una actividad que producirá datos sin criterio para interpretarlos.
Reserva lo sintético para reducir el espacio de posibilidades, no para cerrarlo. Antes de hablar con diez clientes reales, usa usuarios sintéticos para eliminar las hipótesis obviamente débiles. Llega a la conversación real con las preguntas más afiladas. El valor de lo sintético está en lo que hace posible después, no en lo que reemplaza.
La evidencia fuerte sigue requiriendo riesgo mutuo. Una pre-venta real, un piloto con un cliente real, alguien que compromete recursos reales, ninguna IA puede sintetizar eso. Y ese sigue siendo el único dato que cierra genuinamente la incertidumbre de si algo tiene mercado.
Qué hace: Plataforma de testing de mensajes con compradores B2B reales. Subes tu propuesta de valor, tu copy de landing page o el posicionamiento de un nuevo producto, y en horas recibes feedback cualitativo y cuantitativo de personas reales de tu perfil de cliente ideal.
Por qué la recomiendo: Wynter es el antídoto literal al problema de sycophancy que describe este artículo. Un agente sintético tenderá a encontrar tu mensaje “claro y convincente” si el contexto no es suficiente. Un comprador B2B real que no te conoce, que tiene otros problemas en la cabeza y que no tiene ningún incentivo para ser amable, te dirá exactamente qué no entiende y por qué no le importa. Esa fricción, esa posibilidad real de indiferencia, es la condición que produce evidencia útil. El precio de entrada es accesible para equipos pequeños, y el tiempo de respuesta (horas, no semanas) lo hace compatible con ciclos de iteración rápidos.
MIT: 95% de los pilotos de IA no producen retorno medible: El dato más importante del año que menos aparece en presentaciones de board. La causa raíz que identifica el reporte no es la calidad de los modelos, es lo que llaman el learning gap: organizaciones que experimentan sin hipótesis claras, sin criterio de éxito definido, sin saber en qué escalón de la jerarquía de evidencia están operando.
Gartner: 60% de equipos de marketing usarán personas sintéticas en 2028: Hoy ese número es 5%. La adopción va a ser rápida. Lo que determina si esa adopción produce valor o produce ilusión de valor es si los equipos entienden en qué escalón de evidencia cae lo que están usando, antes de que el mercado se lo enseñe de la manera costosa.
¿Cuál es el experimento que tu equipo lleva meses posponiendo porque “no hay presupuesto” o “no hay tiempo”?
Gracias por leerme.
Si esta newsletter te resultó útil, compártela con un líder de tu red que siga usando IA sin muchos resultados innovadores. Nos ayuda a crecer y a ellos les puede cambiar la perspectiva.
Nos leemos la próxima semana.
Oscar Durán - @duranoscarf en instagram y Linkedin
Comparte Xtrategia Newsletter con alguien que creas le puede agregar valor.
Park, J.S. et al. (2024). Generative Agent Simulations — Stanford/DeepMind.
Dell’Acqua, F. et al. (2023). Jagged Technological Frontier — HBS/BCG
Nielsen Norman Group (2025). Evaluating AI-Simulated Behavior
ACM Interactions. The Synthetic Persona Fallacy
Comments
Nothing yet. Say the first thing.
Sign in to join the conversation.