Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Cadenas de Markov

Los procesos de Markov son ejemplos de procesos estocásticos, procesos que generan secuencias aleatorias de resultados o según ciertas probabilidades.Estados Los procesos de Markov se distinguen por ser sin memoria, su siguiente estado depende sólo de su estado actual, no de la historia que los condujo allí. Los modelos de procesos de Markov se utilizan en una amplia variedad de aplicaciones, desde los precios de las acciones diarias hasta las posiciones de los genes en un cromosoma.

Un modelo de Markov se da representación visual con un, como el siguiente.state diagram

Diagrama de estado para un modelo de Markov

Los rectángulos del diagrama representan los posibles estados del proceso que está intentando modelar y las flechas representan transiciones entre Estados. La etiqueta de cada flecha representa la probabilidad de esa transición. En cada paso del proceso, el modelo puede generar una salida o, dependiendo del estado en el que se encuentra, y luego hacer una transición a otro Estado.Emisión Una característica importante de los modelos de Markov es que el siguiente estado depende sólo del estado actual, y no del historial de transiciones que conducen al estado actual.

Por ejemplo, para una secuencia de lanzamientos de moneda los dos Estados son cabezas y colas. El lanzamiento de moneda más reciente determina el estado actual del modelo y cada lanzamiento subsiguiente determina la transición al siguiente estado. Si la moneda es justa, las probabilidades de transición son todas 1/2. La emisión podría ser simplemente el estado actual. En modelos más complicados, los procesos aleatorios en cada estado generarán emisiones. Podría, por ejemplo, rodar un troquel para determinar la emisión en cualquier paso.

son descripciones matemáticas de los modelos de Markov con un conjunto discreto de Estados.Las cadenas de Markov Las cadenas de Markov se caracterizan por:

  • Un conjunto de Estados {1, 2,...,}M

  • Una entrada-por-cuya, es la probabilidad de una transición de estado a estado.MMmatriz de transiciónTijij La suma de las entradas en cada fila de debe ser 1, porque esta es la suma de las probabilidades de hacer una transición de un estado dado a cada uno de los otros Estados.T

  • Un conjunto de posibles salidas, o, {emissionss1,s2, ... ,sN}. De forma predeterminada, el conjunto de emisiones es {1, 2,...,}, donde es el número de posibles emisiones, pero puede elegir un conjunto diferente de números o símbolos.NN

  • Una entrada-por-cuya, da la probabilidad de emitir símboloMNmatriz de emisiónEiksk Dado que el modelo está en estado.i

Las cadenas de Markov comienzan en un estado iniciali0 en el paso 0. A continuación, la cadena pasa al estadoi1 con probabilidad T1i1, y emite una salida sk1 con probabilidad Ei1k1. En consecuencia, la probabilidad de observar la secuencia de Estados i1i2...ir y la secuencia de emisiones sk1sk2...skr en los primeros pasos, esr

T1i1Ei1k1Ti1i2Ei2k2...Tir1irEirk

Temas relacionados