TEMA 1: Introducción a los procesos estocásticos: Cadenas

Las variables que se observan a lo largo del tiempo son variables que además del fenómeno aleatorio en cuestión dependen también del tiempo. En este sentido, si queremos establecer distribuciones teóricas para este tipo de variables aleatorias, estas distribuciones tendrán que depender también el tiempo.

Nuestro objetivo será construir modelos que permitan explicar la estructura y realizar predicciones sobre la evolución de variables que son observadas a lo largo del tiempo.Estas variables se pueden encontrar en periodos de tiempo regulares o irregulares, pero en la mayoría de los casos tendremos que emplear periodos de tiempo regulares.

Índice

Concepto y principales características de los procesos estocásticos
- Procesos de Estado Discreto

Concepto y principales características de los procesos estocásticos

Definición.- Proceso estocástico

Podemos definir un proceso estocástico como una serie de variables aleatorias ordenadas según un parámetro t que habitualmente es el tiempo { $X_t$ , t ϵ T}.

De este modo, para cada momento t tendremos una variable aleatoria $X_t$ , de manera que se puede interpretar un procesos estocástico como una sucesión de variables aleatorias con características que pueden variar a lo largo del tiempo o permanecer constantes. Nos interesarán más estas últimas.

Podríamos representar esta idea del siguiente modo:

En cada t se representa la función de densidad correspondiente a $X_t$ .

Definición.- Estados

Denominaremos estados a los posibles valores que puede tomar el fenómeno considerado.

Estos estados pueden tener un conjunto de estados discreto o continuo, según la naturaleza del fenómeno observado.

A su vez, el tiempo puede ser también discreto si el fenómeno se presenta en momentos del tiempo determinados, o continuo si el fenómeno puede suceder en cualquier momento.

En base a la naturaleza del parámetro para el que ordena el fenómeno (t) y la naturaleza del conjunto de estados del fenómeno, podemos clasificar a los procesos estocásticos en:

Proceso estocástico de parámetro continuo, cuando el conjunto T es continuo, $T \in \mathbb{R}^+$ .
Proceso estocástico de parámetro discreto, cuando el conjunto T es discreto, $T \in \mathbb{N}$ .
Proceso estocástico de estado continuo, cuando la variable Xt es continua, $X_t \in \mathbb{R}^+$ .
Proceso estocástico de estado discreto, cuando la variable Xt es discreta, $X_t \in \mathbb{N}$ .

	Tiempo Discreto	Tiempo Continuo
Variable aleatoria discreta	Proceso de estado discreto y tiempo discreto (Cadena)	Proceso de estado discreto y tiempo continuo (Proceso de saltos puros)
Variable aleatoria discreta	Ejemplos: Unidades de producto vendidas mensualmente, número de trabajadores en plantilla cada mes…	Ejemplos: Unidades de producto vendidas hasta el instante t, número de trabajadores en plantilla en el instante t…
Variable aleatoria continua	Proceso de estado continuo y tiempo discreto	Proceso de continuo y tiempo continuo
Variable aleatoria continua	Ejemplos: Cotizaciones semanales de un determinado activo, precio medio mensual de la gasolina…	Ejemplos: Cotizaciones en tiempo real de un determinado activo, precio de la gasolina en tiempo real…

Procesos de Estado Discreto

Para los procesos de estado discreto representaremos una secuencia de variables referida al valor del proceso en diferentes instantes tiempo como:

{ $X_0=x_0, X_1=x_1, X_2=x_2,..., X_{n-1}=x_{n-1}, X_n=x_n$ }

Donde cada variable $X_i$ tiene una distribución de probabilidad que puede ser igual o diferente de la que tienen el resto de variables. En ocasiones estas variables tienen la misma distribución pero con características diferentes.

Probabilidad de transición o probabilidad de cambio de estado

Definiremos la probabilidad de transición o cambio de estado como la probabilidad de que el momento n se de el estado $X_n$ , sabiendo que en el momento anterior, n-1 se ha dado el estado $X_{n-1}$ :

$P(X_n=x_n / X_{n-1}=x_{n-1})$

Probabilidad de ocupación de estado

Del mismo modo la probabilidad de ocupación de un estado determinado será simplemente:

$P(X_n=x_n )$

Otra probabilidad interesante es la de ocupar un cierto estado condicionado a la información de lo que sucedió en todos los estados anteriores, que escribiremos como:

$P(X_n=x_n / X_0=x_0, X_1=x_1, ..., X_{n-1}=x_{n-1})$

Propiedad de Markov

Diremos que un proceso tiene la propiedad de Markov cuando la probabilidad de ocupar un determinado estado en el momento n condicionada a toda la información anterior de la serie coincide con la probabilidad de ocupar dicho estado condicionada únicamente al estado que ocupó en el momento anterior, es decir:

$P(X_n=x_n / X_0=x_0, X_1=x_1, ..., X_{n-1}=x_{n-1}) = P(X_n=x_n / X_{n-1}=x_{n-1})$

Podemos decir en esta situación que un proceso con esta propiedad tiene falta de memoria ya que toda su historia se puede resumir mediante el estado actual.

Las cadenas que cumplen la propiedad de Markov se denominan Cadenas de Markov.

Probabilidades de transición estacionarias

Diremos que las probabilidades de transición son estacionarias si no dependen del momento en concreto en el que nos encontremos, es decir que las probabilidades de pasar de un estado a otro son las mismas para cualquier momento del tiempo.

Para simplificar la notación podemos denotar a las probabilidades de transición como:

$P(X_n=j / X_{n-1}=i)=P_{ij}$

Diremos entonces que las probabilidades de transición $P_{ij}(n)$ son estacionarias si no dependen de n.

Ejemplo 1.- Consideremos que el correcto funcionamiento de una determinada maquinaria se revisa diariamente al inicio de la jornada para verificar si esta operativa o no. Estos serán nuestros dos posibles estados: que este operativa (O) o que esté dañada (D).

Diagrama de estados

Si definimos una variable aleatoria $X_n$ , referida al estado de la maquinaria en cada momento y consideramos que toma valor 0 si está dañada y 1 si está operativa podremos definir las siguientes probabilidades:

Probabilidades de estado:

$P(X_n=1)= \pi_n(1)$

$P(X_n=0)= \pi_n(0)$

Probabilidades de transición:

Partiendo de 0 tendremos:

$P(X_{n+1}=1/X_n=0)=p$

$P(X_{n+1}=0/X_n=0)=1-p$

Partiendo de 1 tendremos:

$P(X_{n+1}=0/X_n=1)=q$

$P(X_{n+1}=1/X_n=1)=1-q$

Matriz de probabilidades de transición o matriz de estados

La matriz de probabilidades de transición o matriz de estados de una cadena de markov es una matriz que recogerá las probabilidades de todas las posibles transiciones entre estados que pueden tener lugar.

En nuestro caso la matriz de transición de estados sería:

Matriz de probabilidades de transición o matriz de estados

En general, si una cadena de markov tiene k posibles estados $s_1, s_2, ..., S_k$ y probabilidades estacionarias, denotando como $P_{ij}$ a la probabilidad de pasar del estado $s_i$ al estado $s_j$ , la matriz de transición será:

La matriz de transición P nos da las probabilidades de transición de un paso, pero escribirlas en forma matricial nos facilitarán calcular probabilidades de transiciones que impliquen más de un paso. Para obtener la matriz de transición un número superior de pasos simplemente tenemos que elevar la matriz al número de pasos que nos interese. Así la matriz de transición de m pasos será simplemente $P^m$ .

Distribución inicial de la cadena

En este tipo de cadenas no siempre conocemos el estado inicial de proceso con certeza. Si es así, estos valores iniciales se representarán en términos de probabilidad como un vector de ocupación inicial $\pi_0$ , que tendrá como componentes las probabilidades de estado $\pi_0(j)$ , para todos los estados j=1,2,…k. Quedará por tanto definido:

$\pi_0 = \left( \pi_0(1), \pi_0(2), ... , \pi_0(k) \right)$

Teniendo en cuenta que todas las probabilidades incluidas serán mayores o iguales que 0 y la suma de todas ellas debe ser igual a 1:

$\pi_0(j) \geq 0$ y $\sum_{j=1}^k \pi_0(j) =1$

Distribución de las probabilidades de ocupación de estados en un instante cualquiera

También podemos definir el vector de ocupación para cualquier momento n. Se denominará $\pi_n$ y tendrá como componentes las probabilidades de estado $\pi_n(j)$ , para todos los estados j=1,2,…k. Quedará por tanto definido:

$\pi_n=\left( \pi_n(1), \pi_n(2), ...,\pi_n(k) \right)$

Y al igual que $\pi_0$ , $\pi_n$ incluye probabilidades mayores o iguales que 0 y cuya suma debe ser igual a 1:

$\pi_n(j) \geq 0$ y $\sum_{j=1}^k \pi_n(j) =1$

En general se cumple que: $\pi_n= \pi_0 \cdot P^n$

Ejemplo 1.-

Para nuestro ejemplo 1, se sabe que si la maquina está dañada, la probabilidad de que continúe dañada al día siguiente es de 0,4, mientras que si está operativa, la probabilidad de que continúe operativa es de 0,9, se pide:

a) Calcule la matriz de transición de un paso de dicha maquinaria.
b) Si se sabe que la máquina hoy estaba dañada, ¿cuál será la probabilidad de que continúe dañada pasado mañana? ¿ Y la probabilidad de que esté operativa?
c) Calcule el porcentaje de días que la máquina está dañada.

Solución.-

a) Matriz de transición de un paso:

b) Si se sabe que la máquina hoy estaba dañada, ¿cuál será la probabilidad de que continúe dañada pasado mañana? ¿ Y la probabilidad de que esté operativa?

La probabilidad de que la máquina continúe dañada pasado mañana será:

$P(X_2=D/ X_0=D)=0,22$

La probabilidad de que la máquina este operativa pasado mañana será:

$P(X_2=O/ X_0=D)=0,78$

c) Calcule el porcentaje de días que la máquina está dañada.

$\pi_n= \pi_0 \cdot P^n$

Pero también $\pi_1= \pi_0 \cdot P$

Definiremos: $\pi_1= (x,y)$ y $\pi_0= (x,y)$ entonces:

Y además se debe cumplir que x + y = 1 por ser las posibles probabilidades del conjunto de estados del fenómeno.

En realidad nos sobra una ecuación, pero se observa claramente que la primera y la segunda son equivalentes:

Así cuando la cadena alcance el equilibrio, la probabilidad de que la máquina esté dañada será 1/7 y la de que este operativa será 6/7.

Ejercicio 2.-

El departamento de estudios de mercado de una compañía ha estimado que el 60% de los clientes que compran su producto un mes lo vuelven a comprar al mes siguiente, mientras que entre los clientes que no lo compraron en un determinado mes, solo el 30% lo compra. En un determinado mes 500 clientes compraron el producto de un total de 800 clientes potenciales, se pide:

a)Dibujar el diagrama de estados de la cadena de markov del fenómeno.
b)Obtener la matriz de transición de un paso.
c)Si un cliente ha comprado este mes, ¿que probabilidades hay de que compre dentro de 3 meses? ¿Y si no ha comprado?
d)¿Cuántos clientes comprarán el próximo mes?
e)Calcule el número de personas que comprarán en los próximos cinco años y represente gráficamente la serie.

a) Diagrama de estados

b) Matriz de transición de un paso

c) Si un cliente ha comprado este mes, ¿que probabilidades hay de que compre dentro de 3 meses? ¿Y si no ha comprado?

La probabilidad de que un cliente que ha comprado este mes compre dentro de 3 meses será:

$P(X_3=C / X_0=C) = 0,444$

La probabilidad de que un cliente que no ha comprado este mes compre dentro de 3 meses será:

$P(X_3=C / X_0=NC) = 0,417$

d) ¿Cuántos clientes comprarán el próximo mes?

El próximo mes comprarán 390 clientes. Podemos decir que comprarán el 60% de los clientes que ya compraron y el 30% de los que no compraron.

e) Calcule el número de personas que comprarán en los próximos cinco meses y represente gráficamente la serie.

La presentación gráfica de los valores obtenido es:

Como vemos el gráfico presenta una asíntota horizontal que nos indica que la serie tiende a estabilizarse en torno a un valor, o converge a uno valor. Ese valor será el que se corresponda con el porcentaje de compradores a largo plazo que podemos obtener a partir de las probabilidades de estado a largo plazo:

$\pi_n=\pi_0 \cdot P^n$