Orden de un Modelo Estadístico: Estimación y Tests

D. Dacunha-Castelle ^{∗}

El estudio del orden de un modelo estadístico es un problema práctico que aparece en todo tipo de aplicaciones: estadística clásica, series cronológicas, mezclas de poblaciones, cadenas de Markov escondidas.

En realidad, todos los modelos estadísticos construidos con un número finito de parámetros tienen que ver con el problema del orden que es, grosso modo, el del número de parámetros que hay que introducir en el modelo. Frecuentemente estos parámetros tienen un sentido práctico y son interpretables en el dominio considerado. Si una población es heterogénea (por ejemplo en genética) el problema puede ser saber cuántas poblaciones homogéneas la componen y, para cada población homogénea, saber cuál es su papel en la mezcla.

En este caso, los parámetros del modelo tienen un sentido biológico claro. Pero esto no es siempre así en econometría. La mayor parte del tiempo los parámetros no tienen otro sentido que el de medir correlaciones parciales entre variables dentro de un cuadro temporal. El modelo se construye tanto para predecir el futuro como para analizar el pasado. Esta banalidad no es únicamente matemática: si uno quiere tener un modelo que haga buenas predicciones, uno no puede ir simultáneamente muy lejos en la descripción del pasado utilizando un gran número de parámetros. Su estimación imprecisa implicaría entonces malas cualidades predictivas para el modelo. Hace falta, entonces, un principio heurístico de parsimonia, buscar un equilibrio entre la calidad en términos descriptivos y explicativos del ajuste y la calidad de la precisión obtenida con la ayuda del modelo.

Para hablar de equilibrio es necesario ponderar el interés que tenemos en cada una de las cualidades. De hecho, este punto de vista es raramente el adoptado por los estadísticos porque no es fácil, ni en la práctica ni en la teoría, de implementar... Es preferible pensar que en todos los casos existe un modelo verdadero que depende de un cierto número de parámetros. El objetivo es entonces obtener este modelo verdadero. Evidentemente, no hay respuesta exacta a menos que el tamaño de la muestra sea infinito de modo que podamos aplicar, de manera adecuada, la ley de los grandes números. Caemos entonces en los problemas de velocidad de la estimación y de tests que no han tenido hasta ahora sino soluciones parciales, sobre todo en el aspecto práctico. Además, parece razonable pensar que puntos de vista más amplios, más centrados sobre la noción de complejidad en el cuadro de la estadística no-paramétrica, permitirán aportar un esclarecimiento radicalmente diferente a la cuestión del orden de un modelo, si éste no está construido con ayuda de un número finito de parámetros impuestos, en genética de poblaciones, por las restricciones de la biología.

∗Université Paris-Sud, Orsay.

1 Modelos paramétricos

Sea (P_{α}^{n})_{α∈A} una familia de probabilidades sobre un mismo espacio (Ω, A), n ∈ ℕ. Para cada n, P_{α}^{n} define un modelo y para α fijo la familia (P_{α}^{n})_{n∈N} es coherente. El índice n será omitido a menos que sea necesario. Llamemos A = U_{p∈P} A_{p} donde P es un conjunto finito o infinito con un orden parcial. Por convención A_{p} ⊂ ℝ^{k(p)}. El orden del modelo es entonces p. En todos los casos prácticos, el orden parcial es muy simple: q > p equivale a ℝ^{k(q)} sub-espacio de ℝ^{k(p)}: “ todo modelo de orden q < p es un modelo de orden p ”.

Por razones prácticas el cero juega un rol particular.

Si denotamos por 0_{k(p)−k(q)} el cero de ℝ^{k(p)} − ℝ^{k(q)} entonces si q < p, supondremos que existe una inyección A_{q} → A_{p} definida por θ_{α} → θ̃_{α} y tal que (θ_{α}, 0_{k(p)−k(q)}) = θ̃_{α} para todo θ_{α} ∈ A_{q}.

Identificabilidad : Un modelo es identificable si α ≠ α′ ⇒ P_{α} ≠ P_{α′}. En realidad esta noción puede ser restrictiva y mal adaptada. Diremos que un modelo es identificable en 0 si \overline{α} ≠ \overline{α′} implica P\overline{α} ≠ P\overline{α}′, donde \overline{α} designa la clase de equivalencia de α definida por:

θ_{α} ∼ θ_{α′} si existe \overline{θ_{β}} ≠ 0 (en ℝ^{k(q)}) tal que θ_{α} = \overline{θ}_{β} (en ℝ^{k(p)}, p ≥ q)

y θ_{α} = θ_{β} (en ℝ^{k(p′)}, p′ ≥ q)

Módulo esta relación de equivalencia, la inyección A_{q} → A_{p} es una identidad para las probabilidades asociadas.

1.1 Ejemplos

1.1.1 Familias exponenciales de densidad f_{α} respecto a una medida D y observaciones independientes.

f_{α}(x) = Z^{−1}(α) exp{− ∑_{j=1}^{p} α_{j}T_{j}(x)}

El orden del modelo es p y θ = (α_{1}, ...., α_{p}) , α = (p, θ). El orden parcial es simplemente el orden de los subconjuntos finitos de A = (α_{1}, ...., α_{p}, ...) , A puede estar acotado o no. Z es la función de partición y T_{1}, ..., T_{p} la familia de observables.

1.1.2 Regresión.

Familia de relaciones lineales. Una observación tomada de una sucesión independiente de pares de variables:

Y_{ij} = ∑_{i=1}^{p} α_{i}X_{i} + ϵ_{ij}

(ϵ_{ij}) un ruido blanco. El orden es p, número de factores aleatorios (o eventualmente controlados), θ = (α_{1}, ...., α_{p}). El orden es el de los subconjuntos de A = (α_{1}, ...., α_{p}, ...).

En esta dirección podríamos citar los modelos de Cox.

1.1.3 Mezclas de población.

Sea (G_{λ}) una familia de leyes de probabilidad λ ∈ Λ ⊂ ℝ^{l}. La observación es una sucesión de variables independientes de ley

Q_{α}(d_{x}) = a_{1}G_{λ_{1}}(dx) + ... + a_{p}G_{λ_{p}}(dx)

a_{1} + ... + a_{p} = 1 , 0 < a_{l} ≤ 1 con a_{l} < 1 si p > 1, p es el orden de mezcla, θ = (a_{1}, ..., a_{p}, λ_{1}, ..., λ_{p}), α = (θ, p).

Otra manera de escribir los parámetros es interesante: α se considera como

medida puntual sobre Λ: α = ∑_{j=1}^{p} a_{j}δ_{λj}.

Las medidas puntuales operan sobre la familia (G_{λ}) por α(G) = ∑_{j=1}^{p} a_{j}G_{λ_{j}}

El modelo es esencialmente no-identificable pero hay diversos tipos de noidentificabilidad.

Para comenzar las hay de tipo patológico, que pueden ser consideradas como bastante triviales. Por ejemplo, si (G_{λ}) es la familia de leyes de Bernoulli: b(λ),

entonces μ(G) es una ley de Bernoulli: b( ∑_{j=1}^{p} a_{j}λ_{j}) y así distintas mezclas dan

la misma ley.

El modelo es intrínsecamente no-identificable si la aplicación μ → μ(G) no es inyectiva. El estudio de este tipo de no-identificabilidad intrínseca se hace en [10] y [11]. Otra forma trivial de no-identificabilidad se debe a que la medida de mezcla es invariante por permutación de los parámetros. Pero el modelo de mezcla clásico no es identificable de manera no trivial. La medida 1δ_{λ_{0}} + 0δ_{λ_{1}} es igual para todos los (λ_{1}, M) a Mδ_{λ0} + (1 − M)δ_{λ0} y entonces (M, λ_{0}, λ_{0}) equivale a (0, λ_{0}, λ_{1}).

Un ejemplo cercano al de mezclas de población es el de las Cadenas de Markov Escondidas que presentan problemas de no-identificabilidad similares, pero más difíciles de tratar que los de mezclas de poblaciones.

1.1.4 Procesos ARMA Gaussianos

La observación (γ_{n}) se obtiene por una ecuación de recurrencia

γ_{n} − a_{1}γ_{n−1} − … − a_{p}γ_{n−p} = ϵ_{n} − b_{1}ϵ_{n−1} − … − b_{q}ϵ_{n−q}

donde (ϵ_{n}) es una sucesión de variables gaussianas independientes, (a_{1}, ..., a_{p}), (b_{1}, b_{2}, ...., b_{q}) son parámetros reales tales que los polinomios

P (z) = ∑_{j=1}^{p} a_{j}z^{j} y Q(z) = ∑_{k=1}^{q} b_{k}z^{k}

tienen sus raíces fuera del círculo unitario. El orden del modelo es (p, q) ∈ N^{2}, N^{2} esta dotado del orden parcial (p, q) ≤ (p′, q′) ⇔ p ≤ p′ y q ≤ q′ ;

θ = (a_{1}, …, a_{p}, b_{1}, …, b_{q}, σ^{2}) donde σ^{2} = Eϵ^{2}.

Como en el caso de las mezclas, existe un parámetro más intrínseco, la densidad espectral f (que juega entonces el papel que jugaba la medida de

mezcla) donde f(λ) = σ^{2} |\frac{Q(e^{−iλ})}{P (e^{−iλ})} |^{2}.

El modelo no es identificable con los parámetros naturales P, Q, σ^{2} porque si R es un polinomio cualquiera (P R, QR, σ^{2}) dan la misma densidad espectral y en consecuencia la misma probabilidad que (P, Q, σ^{2}). De hecho, la noidentificabilidad se debe en buena parte al carácter gaussiano de ϵ; volveremos a esto luego.

En lo que sigue, vamos a interesarnos esencialmente en el caso de modelos no trivialmente no-identificables. Consideraremos sobre todo el caso de mezclas de poblaciones y de procesos ARMA gaussianos, pero muchas ideas pueden extenderse a otros modelos que presentan una no-identificabilidad esencial. Vamos a estudiar sucesivamente tres situaciones: la estimación del orden por métodos principalmente algebraicos, los tests sobre el orden, test de verosimilitud y, finalmente, la estimación simultánea del orden y los parámetros por métodos de verosimilitud o de verosimilitud aproximada.

2 Estimación del orden de una mezcla de poblaciones y de una cadena de Markov escondida por métodos de momentos [1]

Comenzamos con una familia de leyes (G_{γ})γ ∈ Γ sobre ℝ^{p} donde Γ ⊂ ℝ^{k}, G_{γ_{1}} ≠ G_{γ_{2}} para γ_{1} ≠ γ_{2}.

Una mezcla será una probabilidad Q : Q = ∑_{i=1}^{r} π_{i}G_{γ_{i}}, donde r es el orden

de la mezcla y μ = ∑_{i=1}^{r} π_{i}δ_{γi} es una probabilidad sobre Γ llamada medida de

mezcla.

El problema es estimar r sin preocuparnos por el momento de estimar los parámetros (π_{1}, ..., π_{r}) y (γ_{1}, ...., γ_{r}).

La idea utilizada aquí es la siguiente : los momentos de una medida cuyo soporte tiene exactamente r puntos tienen propiedades algebraicas particulares.

Nos interesa inicialmente el caso en el cual Γ ⊂ ℝ; sea Φ_{p} = (γ_{d})_{1≤d≤2p} y μ(Φ_{p}) = ∫_{Λ} Φ_{p}(γ)dμ(γ) para toda medida μ sobre Γ; sea c^{p} = (c_{1}, ..., c_{2p}) ∈ ℝ^{2p} y H(c^{p}, p) la matriz de Hankel de orden p asociada a c^{p} , es decir la matriz (p + 1) × (p + 1) definida por H(c^{p}, p)_{ij} = c_{i+j−2}^{p}, 1 ≤ i, j ≤ p + 1 con c_{0}^{1} = 1. Si μ tiene momentos de orden 2p finitos entonces la matriz de Hankel de μ es H(μ(Φ_{p}), p) (ver [26 ], [27 ]).

Sea K_{p} = {c, c ∈ ℝ^{2p} tal que existe una medida positiva μ con c = μ(Φ_{p})}. Pongamos L(c, p) = det H(c, p) para c ∈ ℝ^{2p} Tenemos entonces

\underline{Proposición 1 :} L(c, p) = 0 si y solamente si toda medida positiva tal que μ(Φ_{p}) = c es discreta y tiene soporte con a lo sumo p puntos. La demostración es inmediata (ver[27 ]). Por lo tanto el orden r puede ser caracterizado por r = inf(p, L(c^{p}, p) = 0) Sean ahora las observaciones X_{1}, ..., X_{n} de igual distribución marginal Q.

Supongamos que a partir de estas observaciones sabemos estimar c^{p} = μ(Φ_{p}) por ĉ_{n}^{p}; L(ĉ_{n}^{p}, p) no se anulará aun si μ es de orden p a causa de la fluctuación estadística . Estamos en una situación clásica en estadística.

Llamaremos función de penalización a una función \overline{A} : N → ℝ^{+} tal que \overline{A}(p, n) sea estrictamente creciente en p (para todo n) y tienda a cero cuando n tiende a infinito (para todo p). Lo usual es tomar \overline{A}(p, n) = A(p)l(n). Ponemos entonces J_{n}(p) = |L(C_{n}^{p}, p̂| + A(p)l(n) y r̂_{n} = arg min_{p∈N} Jn(p)

Tenemos entonces el siguiente teorema

\underline{Teorema 1} [1]

Supongamos que ∀ p ∈ N, c_{n}^{p} → c^{p} y \frac{1}{l(n)}[L(c_{n}^{p}, p) − L(c^{p}, p)] → 0 c.s. entonces r̂_{n} → r c.s.

(El mismo resultado vale reemplazando c.s. por convergencia en probabilidad).

No en todos los problemas de penalización que estudiaremos (y esto tiene un sentido muy general) sabemos definir una función optimal l(n). Argumentos de tipo Bayesiano o de complejidad llevan con frecuencia a escoger A(p)l(n) = \frac{p log n}{\sqrt{n}}. Pero estos argumentos no son aún realmente convincentes y el recurso de la experimentación numérica es necesario a falta de un criterio de riesgo general que pueda ser aplicado a la estimación de r̂_{n} para medir su calidad. El resultado siguiente precisa el error en r.

Supongamos que ĉ_{n}^{p} sea dado por una ley de grandes números del tipo

ĉ_{n}^{p} = f_{p}(\frac{1}{n} ∑_{i=1}^{n} Φ_{p}(X_{i}))

Tenemos entonces el siguiente teorema

\underline{Teorema 2} [1]

Supongamos que para todo p ≤ r la función a → L(f_{p}(a), p) es lipschitziana y que ∫ exp{< t, Φ_{p}(x) >}dQ(x) está definida en una vecindad de cero. Si además \sqrt{n}l(n) → ∞, existe d > 0 y n_{0} ∈ N tal que para n ≥ n_{0},

P (r̂_{n} ≠ r) ≤ exp(−dnl^{2}(n)).

Este teorema exige en el caso estudiado aquí que Q tenga soporte acotado, pero veremos una extensión importante más adelante.

Demos ahora una aplicación importante por su generalidad. Supongamos que dG_{j}(x) = dG(x − γ_{j}), donde G es una probabilidad conocida sobre ℝ.

Podemos entonces poner X_{n} = Y_{n} + M_{n} donde (Y_{n}) y (M_{n}) son sucesiones de variables independientes entre ellas, y donde las (Y_{n}) son variables independientes de ley G y las (M_{n}) variables no necesariamente independientes de ley μ.

Tenemos Q(x^{k}) = ∑_{l=0}^{k} \frac{k!}{l!(k−l)!}G(x^{l})μ(x^{k−l})

Como G(x^{l}) es conocida, obtenemos así un sistema triangular que permite estimar μ(x^{k}) a partir de la estimación de Q(x^{k}), por ejemplo por un estimador empírico

Q̂_{n}(x^{k}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{k} si la ley de grandes números vale.

\underline{Hipótesis sobre el muestreo}: suponemos que observamos X_{n} = Y_{n} + M_{n}, donde M_{n} es un proceso ergódico que toma un número finito de valores, Y_{n} es una sucesión de variables aleatorias independientes, de ley conocida. (Y_{n}) y (M_{n}) son sucesiones independientes.

\underline{Proposición 2} [1]: Bajo estas condiciones de muestreo si G(x^{p}) < ∞ para todo p, el teorema 1 vale si \sqrt{n}(log log n)^{−1}l(n) → ∞ para la convergencia c.s. y \sqrt{n} l(n) → ∞ para la convergencia en probabilidad.

La proposición siguiente permite extender el resultado de ℝ a ℝ^{s}.

\underline{Proposición 3} [1]: Sea μ una probabilidad discreta sobre ℝ^{s} que tiene r puntos en su soporte. Para todo v ∈ ℝ^{s}, ∥v∥ = 1 llamemos vμ a la ley de ⟨v, γ⟩ , γ ∈ ℝ^{s} de ley μ. Entonces vμ es discreta con exactamente r puntos de soporte, salvo para a lo sumo \frac{r(r−1)}{r} valores de v (para los cuales el soporte tiene menos de r puntos).

Tenemos E[⟨v, γ⟩^{k}] = ∑_{k_{1}+...+k_{s}=k} \frac{k!}{k_{1}!...k_{s}!}Π_{i=1}^{s}v_{i}^{k_{i}}EΠ_{i=1}^{s}(γ^{k_{i}}) y la proposición

2 lleva el caso ℝ^{s} al caso ℝ. Podemos entonces extender este resultado a los casos siguientes:

1- G depende de una varianza desconocida σ_{0}, entonces Q(dx) = ∑_{i=1}^{r} π_{i}dG(\frac{x−γ_{i}}{σ_{0}} )

2- El modelo tiene ruido Z_{n} = X_{n} + σ_{0}U_{n}, entonces Z_{n} = M_{n} + Y_{n} + σ_{0}U_{n}.

Tendremos un modelo de mezcla si (M_{n}) es una sucesión de variables independientes y un modelo más general si M_{n} es un proceso ergódico con marginal discreta.

Para realizar esta extensión, necesitamos una hipótesis bien sobre G, bien sobre el ruido.

Definición : Llamaremos L a la clase de leyes de probabilidad G tales que si U es una variable de ley G, para todo c ∈ ]0, 1[ existen dos variables independientes U y V_{c} , U de ley G con U = cU + V_{c}.

Esta clase ha sido caracterizada como la clase de leyes infinitamente divisibles de densidad de Levy f, tal que xf(x) es decreciente en ℝ^{+} y ℝ^{−} y la parte gaussiana es arbitraria.

Observamos que los ruidos con valores discretos están excluidos.

Si aplicamos la relación precedente para estimar μ(γ^{k}) a partir de Q̂_{n}(x^{l}), obtenemos evidentemente μ(γ^{k}) que dependen de σ desconocido a partir de

(∗) Q(x^{k}) =∑^{k} ; l=0 \frac{k!θ^{−l}}{l!(k−l)!}G(x^{l})μ(θ^{k−l}, σ)

Observamos que H(σ, p) es la matriz de Hankel construida con los pseudomomentos μ(θ^{i}, σ).

\underline{Teorema 3} [1]

Si G (o U) pertenece a L entonces ∀σ < σ_{0}, ∀p < r, det H(σ, p) > 0 para σ = σ_{0}, det H(σ, p) > 0 si y solamente si p > r.

Pongamos entonces

K_{n}(p, σ) = |det Ĥ_{n}(σ, p)| + A(p)l_{1}(n) + σl_{2}(n)

donde l_{1}(n) y l_{2}(n) son funciones positivas que tienden a cero en el infinito y Ĥ_{n}(σ, p) es la matriz de Hankel construida a partir de soluciones de (∗) cuando reemplazamos Q(x^{k}) por Q̂_{n}(x^{k}).

Definimos entonces r̂_{n} y σ̂_{n} por:

K_{n}(r̂_{n}, σ̂_{n}) = min {K(p, σ), p ∈ N, σ ∈ S} (S acotado)

\underline{Proposición 4} [1]: El teorema 1 es válido bajo estas condiciones para r̂_{n}. Además σ̂_{n} converge a σ_{0} bajo las mismas condiciones que las impuestas en el teorema 1.

Este tipo de razonamiento puede extenderse en muchas direcciones. 1- Podemos reemplazar las matrices de Hankel por las matrices de Toeplitz, con exponenciales en lugar de potencias. En este caso los momentos están acotados y uno puede siempre obtener las desigualdades exponenciales indicadas en el teorema 2. 2- Podemos utilizar otros criterios distintos de los criterios de Hankel y Toeplitz [24]. 3- Podemos generalizar estos resultados a mezclas sobre la varianza, la covarianza o el parámetro de una familia exponencial en el sentido estadístico del término [1]. 4- Podemos desarrollar ideas similares a propósito del problema, fundamental en teoría de señal de la separación de fuentes, cuando la señal es de tipo discreto [28] [29]. 5- Existen métodos bastante similares para identificar el orden de los procesos ARMA, en ese caso las matrices tipo Hankel utilizan las autocorrelaciones y las autocorrelaciones parciales ([14],[25]).

3 Test para el orden de un modelo

Después de haber determinado de manera algo imprecisa el orden de un modelo, podemos pasar a una etapa más fina que consiste en hacer un test del orden. Para esto, buscamos utilizar un proceso que en los casos identificables usuales es asintóticamente optimal en sentidos diversos, que son los de los tests del cociente de verosimilitudes. Pero la no-identificabilidad hace que las cosas sean bastantes complejas.

Examinemos el caso simple de una mezcla de a lo sumo 2 poblaciones. Queremos probar que la muestra representa una población contra la hipótesis de que la muestra está formada por 2 poblaciones. Sea f_{0} la densidad bajo la hipótesis nula y πf_{γ_{1}} + (1 − π)f_{γ_{2}} bajo la hipótesis alternativa 0 < π < 1, γ_{1} ≠ γ_{2}, γ_{1}, γ_{2} ∈ Γ, Γ compacto.

Podemos suponer que γ_{2} < γ_{1} por ejemplo, y estudiar la singularidad en 0, que hace que la información de Fisher sea degenerada separando dos casos, de manera de tener una heurística (ver sobre este tópico [2]).

a) El caso π → 0, γ_{2} → 0, γ_{1} fijo para el desarrollo del logaritmo de la verosimilitud.

Pongamos \overline{f}_{γ} = \frac{f_{γ}−f_{0}}{f_{0}} y f^{•}_{0}= \frac{f′_{0}}{f_{0}} , f^{••}_{0}= \frac{f_{0}^{”}}{f_{0}}

donde f′ es la derivada respecto a γ; tenemos como logaritmo del cociente de verosimilitud para una observación (X_{1}, ..., X_{n})

T_{n} =∑^{n} ; i=1 log(1 + π\overline{f}_{γ_{1}}(X_{i}) + (1 − π)\overline{f}_{γ_{2}}(X_{i}))

de donde un desarrollo del tipo

∑^{n} ; i=1 (π\overline{f}_{γ_{1}}(X_{i}) + (1 − π)γ_{2} f^{•}_{0} (X_{i})) al 1er orden. Si aplicamos sin cuidado

la teoría clásica de la verosimilitud, utilizaríamos el desarrollo del log al 2do orden, el modelo será regular en (π_{1}, γ_{2}) y con γ fijo, como π > 0, el máximo de verosimilitud será de tipo G_{γ_{1}}^{2}1_{(G_{γ_{1}} >0)} donde G_{γ} es un proceso gaussiano centrado de covarianza regular. Pero este tipo de resultado es inexacto si no tenemos mayor precaución. El estadístico sup_{γ_{1}} G_{γ_{1}}^{2}1 _{(G_{γ_{1}} >0)} no toma en cuenta

el hecho de que γ_{1} puede variar con n (se trata de hacer un test que tome en cuenta todos los valores de γ_{1} en cada etapa). γ_{1} no es entonces un parámetro de ruido. Y si desarrollamos los cálculos veremos que si γ_{1} tiende a cero muy rápidamente, entonces no es posible detener el desarrollo en el 2do orden y es necesario un análisis más fino.

b) En el 2do caso, donde π está fijo, γ_{1} y γ_{2} tienden a cero. Como tenemos 2 parámetros podemos tomar como desarrollo al 1er orden

(πγ_{1} + (1 − π)γ_{2}) f^{•}_{0} +\frac{1}{2}(πγ_{1}^{2} + (1 − π)γ_{2}^{2}) f^{••}_{0} considerando como nuevo parámetro πγ_{1} + (1 − π)γ_{2} y \frac{1}{2}(πγ_{1}^{2} + (1 − π)γ_{2}^{2}) y el modelo es regular para π fijo.

Pero aun aquí es necesario ser cuidadoso porque es indispensable derivar al 2do orden para aplicar la teoría clásica y el hecho de que la nueva parametrización no sea diferenciable presenta problemas. Este tipo de análisis que encontramos en los otros casos simples de modelos no-identificables nos ha llevado a proponer otro enfoque, mucho más unificador de este tipo de problema. Es el fundamentado sobre los modelos localmente cónicos.

4 Modelos localmente cónicos [3]

Sea (X_{1}, ..., X_{n}) una muestra de ley P_{0}^{(n)}, P_{0}^{(n)} ∈ P_{n}, conjunto dominado por una medida positiva D^{(n)}.

Las condiciones siguientes definen un modelo estadístico localmente cónico. 1- Suponemos que P_{n} se parametriza a través de dos parámetros θ y β, (θ, β) ∈ [O, M] × B de modo que P_{n} = {P_{θ,β}^{(n)}, (θ, β) ∈ T } , [O, M] × B con la topología producto y T con clausura \overline{T} compacta. 2- Para θ = 0, el modelo puede ser no-identificable en β, pero lo es en θ para θ = 0, es decir en particular que P_{θ,β}^{(n)} = P_{0}^{(n)} ⇔ θ = 0

Para cada c > 0, definimos B^{c} = \{β ∈ B, ∃θ ≤ c, (θ, β) ∈ \overline{T} \} y ponemos θ_{β} = sup \{t, [0, t] × \{β\} ⊂ \overline{T} \}.

Suponemos además que:

∀β ∈ B, o bien θ_{β} > 0 o [0, c] × β ∩ \overline{T} es vacío para un c > 0.

En todas las aplicaciones, trabajaremos con B̃ = ∩_{c>0} B^{c} y podremos suponer

B̃ = B sin restringir la generalidad del modelo. β podemos pensarla como una dirección en la cual nos acercamos a 0, cuando θ → 0.

Ahora daremos ejemplos de aplicación de la noción de modelo localmente cónico y de tests de verosimilitud que podemos aplicarles.

En lo que sigue T_{0} y T_{1} serán sub-conjuntos de T .

Contrastaremos (θ, β) ∈ T_{0} contra (θ, β) ∈ T_{1}. Pondremos para i = 0 ó 1,

T_{n}(i) = sup_{(θ,β)∈T_{i}} L_{n}(θ, β)

donde L_{n} es el logaritmo de la verosimilitud cuando el modelo tiene como densidad g_{θ,β}^{(n)} y el estadístico de test será T_{n}(i)−T_{n}(0), la hipótesis H_{0} : (θ, β) ∈ T_{0} será rechazada al nivel α cuando T_{n}(i) − T_{n}(0) > C_{α}.

Ejemplos de modelos paramétricos identificables

Consideremos una muestra de v.a.i. X_{1}, …, X_{n} de ley con densidad g_{0} = g_{γ_{0}}. El modelo regular (en sentido local) es decir t → g_{γ_{0}+t_{u}} es de clase C^{2} para t > 0, g_{0} c.s. en todas las direcciones u tales que u ∈ U(γ^{0}) = {u ∈ ℝ^{p}, T (γ, u) contiene un intervalo [0, u_{γ}], u_{γ} ≠ 0} con T (γ, u) = {t ∈ ℝ, γ + tu ∈ T }

Suponemos además que existen funciones h, l_{1}, l_{2} tales que para todo γ = γ^{0} + tu, h ∈ U(γ^{0}) tenemos:

|log g_{γ}| ≤ h, |\frac{1}{g_{γ}} \frac{∂^{i}gγ^{0} + tu}{∂t^{i}} | ≤ l_{i}, i = 1, 2

con h ∈ L^{1}(g_{0}ν), l_{1} ∈ L^{2}(g_{0}υ), l_{2} ∈ L^{1}(g_{0}υ)

La parametrización es entonces γ = γ^{0} + θβ donde θ = \sqrt{(γ − γ^{0})^{T} I(γ^{0})(γ − γ^{0})}, β = \frac{γ−γ^{0}}{θ} y I(γ^{0}) es la matriz de información de Fischer: D es el espacio de gradientes,

D =\overline{D} = \{d = \frac{1}{g_{0}} p ; ∑_{i=1} b_{i}d_{i}, donde d_{i} = (\frac{∂g_{θ,β_{i}}}{∂_{θ}} )_{θ=0} y p ; ∑_{i=1} b_{i}β_{i} ∈ B\}

β_{i}...β_{p} son p direcciones linealmente independientes.

\underline{Teorema 5}: Bajo las condiciones precedentes sup L_{n}_{γ∈Γ} (γ) − L_{n}(0) converge

en ley a

\frac{1}{2} sup_{u∈I(γ_{0})^{\frac{1}{2}} B} (⟨u, V ⟩)^{2} 1_{⟨u,V ⟩≥0}

donde V es un vector gaussiano estándar de dimensión p.

Este teorema permite generalizar el resultado clásico sobre χ^{2}. La ley límite es χ^{2}(p) si γ^{0} está en el interior de Γ y si B y I(γ^{0})^{\frac{1}{2}} B contienen todas las direcciones.

En los otros casos, en particular si γ^{0} es un punto frontera de Γ, la ley límite se escribe utilizando la proyección \overline{P} = P_{I(γ^{0})^{\frac{1}{2}} B} como \frac{1}{2} (⟨V, \overline{P} V ⟩)^{2} 1_{⟨V,\overline{P} V ⟩≥0}.

Este resultado puede extenderse al caso donde existen parámetros fantasmas.

\underline{Ejemplos de modelos de perturbación} [2]

Tenemos un ejemplo muy simple de modelo no-identificable. El conjunto de densidades que corresponden a T está dado por:

G = {g_{π,γ} = (1 − π)f_{γ_{0}} + πf_{γ}}

g_{0} = f_{γ_{0}} es conocido y γ_{0} está en el interior de Γ, conjunto compacto de ℝ^{p}, γ ∈ Γ

Sea H = L^{2}(g_{0}θ) y definamos (θ, β) por

θ = ∥\frac{g_{π,γ} − g_{0}}{g_{0}} ∥_{H} = π ∥\frac{f_{γ} − f_{γ^{0}}}{f_{γ^{0}}} ∥_{H} y β = γ.

Sea \overline{f}_{β} = \frac{f_{β}−f_{0}}{f_{0}} . Tenemos entonces

g_{θ,β} = g_{0} (1 + θ \begin{matrix}\overline{f} & β \\ ∥\overline{f}_{β}∥ & H \end{matrix} )

Obtenemos un modelo lineal en θ con β fijo. Podemos aplicar la teoría ordinaria de máximo de verosimilitud si f_{γ} es C_{1} en el interior de Γ y si

∀γ ∈ Γ, |\frac{1}{f_{γ}} \frac{∂f_{γ}}{∂fi} | ≤ l, i = 1, ..., p

con l ∈ H.

Ponemos D = \begin{cases}\overline{f} & _{β} \\ ∥f_{β}∥ & _{H} \end{cases} , β ∈ Γ\} .

\underline{Teorema 6} [2]

Si D es una clase de Donsker [22] y si el proceso canónico gaussiano (ξ_{d}) sobre D tiene trayectorias continuas, entonces la ley límite del cociente del logaritmo del cociente de verosimilitudes es la ley de sup_{d∈D} ξ_{d}^{2}1_{ξ_{d}>0}.

Recordemos que el proceso canónico ξ_{d} es el proceso gaussiano centrado, normalizado tal que E (ξ_{d_{1}}, ξ_{d_{2}}) = ⟨d_{1}, d_{2}⟩_{H}.

Este tipo de resultados se extiende a modelos no-paramétricos de perturbación del tipo: contrastar H_{0} : {g_{0}} contra H_{1} : {g_{θ,β} = g_{0} + θβ} o H′_{1} : {(1 − ϵ)g_{0} + ϵg_{1}} cuando β está en un conjunto funcional que tiene las propiedades de Donsker adecuadas, por ejemplo

B = \{β ∈ H^{4} ∩ H^{2} ∩ L^{2}(\frac{1}{g_{0δ}}), ∥β∥_{L^{2}} = 1, ∥β∥_{H^{4}} ≤ K_{1,} ∥β∥_{H^{2}} ≤ K_{2}, β(0) = 0\}

donde H^{p} es el espacio de Sobolev con la norma p ; ∑_{γ=0} ∥f^{(γ)}∥_{2} [2].

\underline{Ejemplo del test de una población contra dos poblaciones} [2]

Hemos indicado en la introducción las dificultades que un enfoque usual produce. Vamos entonces a comenzar por detallar una parametrización localmente cónica.

Sea Γ ⊂ ℝ, Γ compacto, g_{0} = f_{γ_{0}} y g = {πf_{γ_{1}} + (1 − π)f_{γ_{2}}} Ponemos β = (γ, δ), γ ∈ Γ, δ ∈ [0, M] y g_{θ,β} = \frac{θ}{N(β)}fγ +(1− \frac{θ}{N(β)})f_{γ_{0}+ \frac{θ}{N(β)} δ}

con N(β) = ∥δ \frac{1}{g_{0}} \frac{∂f_{γ}}{∂γ} 1_{γ=γ_{0}} + \frac{f_{γ}−g_{0}}{f_{0}} ∥_{H} donde H es L^{2}(g_{0}ν) Suponemos que

1) N(β) = 0 si y solamente si γ = γ^{0} y δ = 0 (propiedad de independencia lineal de las funciones \frac{f_{γ}−g_{0}}{g_{0}} y de sus límites)

2) f_{γ} ∈ C^{5} y sup_{|γ−γ_{0}|<ϵ} |\frac{f_{γ}^{i}}{g_{0}} | ∈ H para un ϵ > 0 y i ∈ [2, 5] ,

D = \{d, d = \frac{1}{N(β)} \frac{f_{γ}−f_{γ_{0}} +δf_{γ′_{0}}}{f_{γ_{0}}} \} ,

distinguimos además d_{i} = _{\frac{\frac{f{(i) \atop γ_{0}}}{fγ_{0}}}{∥ \frac{f{(i) \atop γ_{0}}}{fγ_{0}} ∥_{H}}} , i = 1, 2 y u = ⟨d_{1}, d_{2}⟩_{H}

\underline{Teorema 7} [2] Bajo las hipótesis precedentes y si D es una clase de Donsker, si ξ_{d} es un pro-

ceso canónico con trayectorias continuas entonces el estadístico de test converge

en ley a sup \{\frac{1}{2} sup_{d∈D} ξ_{d}^{2}1_{ξ_{d}≥0}, \frac{1}{2}ξ_{d_{1}}^{2} + \frac{1}{2}ξ_{d_{2−ud_{1/\sqrt{1−u^{2}}}}}^{2} 1_{d_{2−ud_{1/\sqrt{1−u^{2}}>0}}} \}

\underline{Comentario} La demostración consiste en utilizar un desarrollo de Taylor en θ con β

fijo. Pero este desarrollo no puede detenerse en el segundo orden, es necesario desarrollar hasta el orden 5 y la parte útil sobre la cual se hace la optimización es entonces un polinomio en \frac{θ}{N(β)} de grado 4. Esto refleja la no-identificabilidad y parece ser un fenómeno bastante general que se encuentra en otros modelos.

El desarrollo se detiene gracias a un control de los parámetros, que también es de tipo mucho más general que el caso de mezclas, y que se traduce aquí por: existen constantes A y B tales que si Φ = \frac{δ}{N(β)}, entonces δ ≤ \frac{A}{Φ^{\frac{1}{3}}} , N(β) = \frac{B}{Φ^{\frac{2}{3}}} .

Este tipo de control es posiblemente uno de los puntos más interesantes del modelo localmente cónico. En la presentación heurística de este modelo hecha en la introducción, hemos señalado la dificultad importante que había para separar el tratamiento en dos casos que corresponden a dos sub-modelos. Esta separación se obtiene utilizando de manera bastante complicada el control de los parámetros señalado anteriormente.

5 Prueba de una mezcla de q poblaciones contra una mezcla de p poblaciones

Mantenemos las mismas notaciones (f_{γ})_{γ∈Γ} donde Γ, compacto en ℝ^{k} es el conjunto de las densidades de probabilidad posibles.

g_{0} = ∑_{l=1}^{q} π_{l}^{0}f_{γ^{l,0}}

La alternativa es

g_{p} = {g_{π,α} = ∑_{i=1}^{p} π_{i}f_{γi}}

que suponemos identificables en sentido débil, es decir que la medida μ = ∑_{i=1}^{p} π_{i}δ_{γi} define una mezcla única. La parametrización localmente cónica se define de la manera siguiente:

a) B = (λ_{1}, …, λ_{p−q}, γ^{1}, …, γ^{p−q}, δ^{1}, …, δ^{q}, ρ_{1}, …, ρ_{q}) tales que

λ_{i} ≥ 0, γ^{i} ∈ Γ, i = 1, …, p − q, δ^{l} ∈ ℝ^{k}, ρ_{l} ∈ ℝ, l = 1, …, q

y

∑_{i=1}^{p−q} γ_{i} + ∑_{l=1}^{q} ρ_{l} = 0 y ∑_{i=1}^{p−q} λ_{i}^{2} + ∑_{i=1}^{q} ρ_{i}^{2} + ∑_{i=1}^{q} ∥δ^{i}∥^{2} = 1

b) H = L^{2}(g_{0}ν) y

N(β) = ∥ ∑_{l=1}^{q} π_{l}^{0} ∑_{i=1}^{k} δ_{i}^{l} \frac{1}{g_{0}} \frac{δfγ}{δγi} |_{γ=γ^{l,0}} + ∑_{i=1}^{p−q} γ_{i} \frac{f_{γ}i}{g_{0}} + ∑_{l=1}^{q} ρl \frac{f_{γ}l, 0}{g_{0}} ∥_{H}

entonces

g(θ, β) = ∑_{i=1}^{p−q} γ_{i} \frac{θ}{N(β)}f_{γ}^{i} + ∑_{l=1}^{q} π_{l}^{0} = ρ_{l} \frac{θ}{N(β)}f_{γ^{l,0}+ \frac{θ}{N(β)} δ^{l}}

con

π_{l}^{0} + ρ_{l} \frac{θ}{N(β)} ≥ 0

Esta parametrización puede parecer compleja pero es local y adaptada al problema del test: perturbamos de un lado los parámetros de g_{0} y añadimos una perturbación independiente que es mezcla de otras p − q densidades, mezcla que va a tender a cero. Una dificultad técnica consiste en escoger una buena permutación de los parámetros para asegurar la identificabilidad en θ = 0. El algoritmo de selección es el siguiente: calculamos

min_{l=1...q i=1...p} ∥γ^{l,0} − γ^{i}∥ ,

sean l_{1} e i_{1} los puntos donde este mínimo se alcanza; definimos entonces la perturbación Γ por σ(p − q + l_{1}) = i_{1} e iteramos eliminando los puntos l_{1} e i_{1}. Completamos así la permutación. La definición conduce a la condición

\frac{θ}{N(β)} ≤ ρ + 2q sup_{γ∈Γ} ∥γ∥^{2}

y entonces N(θ) → 0 ⇒ θ = 0. El espacio de los gradientes D ⊂ S(H), esfera unitaria de H, es entonces el espacio de

\frac{1}{N(β)}( ∑_{l=1}^{q} π_{l}^{0} ∑_{i=1}^{k} δ_{i}^{l} \frac{D_{i}^{l}f_{γl,0}}{g_{0}} + ∑_{l=1}^{p−q} γ_{l} \frac{f_{γ}^{l}}{g_{0}} + ∑_{l=1}^{q} ρ_{l} \frac{f_{γ^{l,0}}}{g_{0}} )

con β ∈ B ; ξ_{d} es el proceso gaussiano común en una clase de Donsker D [2] (para verificarlo en todos los casos clásicos, se utiliza un cálculo de entropía o de entropía con corchetes, que es fácil porque D es de tipo paramétrico finito). Suponemos que los conjuntos de funciones

((\frac{f_{γ^{l}}}{g_{0}} )_{l=1,...,p_{1}},(\frac{f_{γ^{l,0}}}{g_{0}} )_{l=1,...,q},(\frac{D_{i}^{l}f_{γl,0}}{g_{0}} )_{l=1,...,q,i=1,...,k},(\frac{D_{ij}^{2}f_{γl,0}}{g_{0}} )_{i,j=1,...,k^{l=1,...,p_{2}}})

son linealmente independientes en H para toda selección de p_{1}, p_{2}, p_{1}+p_{2} ≤ p−q y γ^{l} distintos de γ^{l,0}. Ponemos:

D_{1} = \{∑_{l=1}^{q} ∑_{l=1}^{k} λ_{l,k}D_{i}^{1} \frac{f_{γ^{l,0}}}{g_{0}} \}

D_{2} = \{ ∑_{l=1}^{p1} μ_{l} \frac{f_{γ^{l}}}{g_{0}} + ∑_{l=1}^{q} ρ̃_{l} \frac{f_{γ^{l,0}}}{g_{0}} + ∑_{l=1}^{q} λ_{l,1} \frac{D_{i}^{l}f_{γ^{l,0}}}{g_{0}}

+ ∑_{l=1}^{p_{2}} ∑_{i,j=1}^{k} τ_{l}a_{i}a_{j} \frac{D_{ij}^{2}f_{γ^{l,0}}}{g_{0}} \}

con p < p − q − 1, p_{1} + p_{2} ≤ p − q, μ_{l} > 0, ∑^{q} ; l=1 μ_{l} + ∑_{l=1}^{q} ρ̃_{l} = 0, τ_{l} ≥ 0. Entonces

las funciones de D_{1} y D_{2} son ortogonales.

\underline{Teorema 8} Bajo estas hipótesis y las hipótesis de dominación introducidas en el teorema 7, el estadístico de test converge en ley a

sup \{ sup_{d∈D} \frac{1}{2}ξ_{d}^{2}1_{\{ξ_{d}≥0\}}; sup_{d_{1}∈D_{1},d_{2}∈D_{2}} \frac{1}{2}(ξ_{d_{1}}^{2} + 1_{\{ξ_{d_{2}}^{2} ≥0\}})\}

6 Test del orden de un proceso ARMA[3]

Sea un proceso X_{n} estacionario, gaussiano, centrado, dado por la ecuación de recurrencia

X_{n} + a_{1}X_{n−1} + … + a_{p}X_{n−p} = ε_{n} + b_{1}ε_{n−1} + … + b_{q}ε_{n−q}

donde ε_{n} es el ruido de innovación y donde los polinomios P (z) y Q(z), P (z) = 1 + ∑_{γ=1}^{p} a_{γ}z^{γ}, Q(z) = 1 + ∑_{γ=1}^{q} b_{γ}z^{γ} no tienen raíces en el círculo unitario cerrado.

La densidad espectral es f(x) = \frac{σ^{2}}{2π} | \frac{Q}{P}(e^{−ix}) |^{2}. Suponemos que la verdadera densidad espectral está asociada a (σ_{0}^{2}, Q_{0}, P_{0}). Llamamos (p, q) al orden del modelo y queremos contrastar (p_{0}, q_{0}) contra (p, q), donde (p_{0}, q_{0}) son los grados de (P_{0}, Q_{0}) y p_{0} ≤ p, q_{0} ≤ q. El modelo no es identificable (cf [14]). Hannan y Veres han resuelto el problema de contrastes en casos particulares [18], [20] donde (p = p_{0} + 1, q = q_{0} + 1).

Llamamos \frac{1}{u_{i}}, i = 1 … q_{0} y \frac{1}{t_{i}}, i = 1 … p_{0} los ceros y los polos de f_{0}, que suponemos distintos para simplificar. Ponemos r = min(p − p_{0}, q − q_{0}) y suponemos por ejemplo que r = p − p_{0} entonces s = q − q_{0} − r.

Definimos entonces la representación localmente cónica de las densidades espectrales de la manera siguiente. Ponemos

β = (δ, μ, τ, c, γ, ν)

donde δ ∈ ℝ, μ ∈ ℂ^{q_{0}}, τ ∈ ℂ^{q_{0}}, c ∈ ℂ^{r}, γ ∈ ℂ^{r}, ν ∈ ℂ^{s} y ∥μ∥^{2} + ∥τ∥^{2} + ∥γ∥^{2} + ∥ν∥^{2} = 1 y además

f(θ, β)(e_{ix}) = (\frac{σ_{0}^{2}+ \frac{θ}{N(β)}δ}{2π} ) |\frac{∏_{i=1}^{q−0}(1−(u_{i}+ \frac{θ}{N(β)}μ_{i})z)}{∏_{i=1}^{p−0}(1 − (t_{i} + \frac{θ}{N(β)}t_{i})z)}|^{2}

× |∏_{i=1}^{r} \frac{(1 − (c_{i} + ϵ_{i} \frac{θ}{N(β)}γ_{i})z)}{(1−(c_{i}+(1−ϵ_{1})\frac{θ}{N(β)}γ_{i})z)}|^{2}| ∏_{i=1}^{s} (1 − (\frac{θ}{N(β)}ν_{i})z)|^{2}

donde z = e^{ix}, ϵ_{i} = 1 si |c_{i} − t_{i}| < |c_{i} − u_{i}| y ϵ_{i} = 0 si |c_{i} − t_{i}| ≥ |c_{i} − u_{i}|, i = 1 … r y donde

N(β) = ∥\frac{δ}{σ_{0}^{2}} + ∑_{i=1}^{p_{0}}(\frac{τ_{i}z}{1 − τ_{i}z} + \frac{τ̄_{i}}{z − τ̄_{i}}) − ∑_{i=1}^{q_{0}}(\frac{μ_{i}z}{1 − υ_{i}z} + \frac{μ̄_{i}}{z − ῡ_{i}})

+ ∑_{i=1}^{r}(\frac{(1 − 2ϵ_{i} − γ_{i}z}{1 − c_{i}z} + \frac{1 − 2ϵ_{i})γ̄_{i}}{z − c̄_{i}} − ∑_{i=1}^{s}(ν_{i}z + \frac{ν̄_{i}}{z})∥_{H}

con H = L^{2}((0, 2π), \frac{dx}{2π} ). Seleccionamos como en el párrafo precedente una permutación de los polos y de los ceros de f_{θ,β} de manera que f_{θ,β} = 0 ⇔ θ = 0 (con un algoritmo similar). Tenemos \frac{θ}{N(β)} ≤ 2(p_{0} + q_{0} + r + s) y entonces N(β) → 0 ⇒ θ → 0. Definimos entonces como antes el espacio de gradientes D ⊂ S(H) y los espacios D_{1} y D_{2}, no daremos aquí los detalles (cf [3]) donde D_{1} y D_{2} son tales que D̄ − D = D_{1} ⊕ D_{2}. Nos interesa ahora el test de verosimilitudes aproximadas, más simple de implementar que el test de verosimilitudes, donde la verosimilitud aproximada de Whittle [14] está dada por su logaritmo:

C_{n}(f) = n log 2π +^{T} X^{(n)}.T_{n}(\frac{1}{f}).X^{(n)} + n log σ^{2}
= n log 2π + n log σ^{2} + I_{n}(\frac{1}{f})

C_{n}(f) = n log 2π + n log σ^{2} + I_{n}(\frac{1}{f})

donde

I_{n}(υ) = ∫_{−π}^{π} υ(e^{ix})| ∑_{k=1}^{n} X_{k}e^{ikx}|^{2} \frac{dx}{2π}

\underline{Teorema 9}

El estadístico del test de verosimilitud aproximada converge a

sup \{ sup_{d∈D} \frac{1}{2}ξ_{d}^{2}1_{\{ξ_{d}≥0\}}; sup_{d_{1}∈D_{1},d_{2}∈D_{2}} \frac{1}{2}(ξ_{d_{1}}^{2} + ξ_{d_{2}}^{2}1_{\{ξ_{d_{2}} ≥0\}})\}

cuando p = p_{0}+1, q = q_{0}+1 , caso particular tratado por Hannan (p_{0} = q_{0} = 0) y Veres, la ley límite se reduce a

sup_{d∈D} \frac{1}{2}ξ_{d}^{2}μ_{ξ_{d≥0}}.

7 Estimación por máximo de verosimilitud del orden y de los parámetros del modelo.

Curiosamente es la parte clásicamente más desarrollada de la teoría. Las dificultades debidas a la degeneración de la información de Fisher que encontramos en el problema del test no existen y el problema es, en alguna medida, exactamente el mismo con grandes dificultades de cálculo e implementación que el problema tratado en 1. Ajustar el modelo lo mejor posible nos lleva a tomar un orden tan elevado como sea posible. Debemos entonces recurrir a un método de penalización y entonces utilizar como función de objetivo para determinar el orden y los parámetros.

U_{n}(r, α) − A(r)ℓ(n)

donde U_{n}(r, α) es la log-verosimilitud del modelo de orden r para un valor α de los parámetros. Para una función de penalización A(r)ℓ(n) escogida como en la primera parte se obtiene un teorema de consistencia para r̂_{n} definida por

r̂_{n} = max_{p} (U_{n}(p, α̂_{n}) − A(p)ℓ(n))

donde α̂_{n} es el estimador de máximo de verosimilitud para el modelo de orden p. Sobre el caso ARMA se puede consultar [14] y los resultados de 2 sobre las mezclas permiten extender este tipo de resultado. De nuevo, el problema de selección optimal de ℓ(n) está abierto.

Bibliografía sobre los modelos no-identificables y las técnicas sugeridas en este artículo.

I - Los resultados expuestos provienen esencialmente de los tres artículos siguientes:

D.Dacunha-Castelle y E. Gassiat:

[1] The estimation of the order of a mixture model. Bernoulli (1997) (en prensa)

[2] Testing in locally conic model and application to mixture models. ESAIM (1997) (en prensa) - Prepublication Université Paris-Sud Orsay 96-61

[3] Testing the order of a model using locally conic parametrization: population mixtures and stationary ARMA processes. Prepublication Université Paris-Sud Orsay 96-72

Artículos sobre mezclas.

[4] Celeux, G. and Diebolt, J. (1992) A stochastic approximation type EM algorithm for the mixture problem. Stochastics and Stochastics reports 41, 119-134 [5] Ghosh, J.K. and Sen, P.K. (1985) On the asymptotic performance of the log-likelihood ratio statistic for the mixture model and related results. Proc. Berkeley Conf. in Honor of Jerzy Neyman and Jack Kiefer (Vol.II), L.M. le Cam and R.A. Olshen (eds.), Wadsworth, Monterey, 807-810.

[6] Hartigan, J.A. (1985). A failure of likelihood asymptotics for normal mixtures. Proc. Berkeley Con. in Honor of Jerzy Neyman and jack Kiefer (Vol. II), L.M. le Cam and R.A. Olshen (eds.), Wadsworth, Monterey, 789-806.

[7] Lindsay, B.G. (1989) Moment matrices: applications in mixtures. Ann. Statist. 17, 722-740.

[8] Redner, R.A. (1981) Note on the consistency of the maximum likelihood estimate for non identificable distributions. Ann. Statist. 9, 225-228.

[9] Self, S. , Liang, K. Asymptotic properties of maximum likelihood estimators and likelihood ration tests under nonstandard conditions. Jour. Amer. Stat. Assoc., 823 (398): 605-610, 1987

[10] Teicher, H. Identifiability of finite mixtures. Annals of Math. Statist., 36:423-439.

[11] Yakowitz, S.J., Spragins, J.D. On the identifiability of finite mixtures. Annals of Math. Stat., 39:209-214, 1968.

Artículos sobre series cronológicas.

[12] Akaike H.(1970). Statistical predictor identification. Ann. Inst. Statis. Math., 22, 202-217.

[13] Akaike H. (1974). A new look at the statistical model identification. IEEE Trans. Aut. Cont. AC-19, 716-723

[14] Azencott R., Dacunha-Castelle D. (1986) Series of irregular observations forecasting and model building. Springer

[15] Dahlhaus, R. (1988) Empirical processes and their applications to time series analysis. Stochastic Processes and their Applications, 30, 69-83

[16] Gerencser L., Rissanen J. Asymptotics of predictive stochastic complexity. In New Directions in Time Series Analysis, Springer-Verlag. Brillinger D., Caines P., Geweke J., Parzen E., Rosenblat M., Taqqu M. Eds.

[17] Gill L., Lewbel A. (1992) Testing the rank and definiteness of estimated matrices with applications to factor, state-space and Arma models. J. Amer. Statist. Assoc. 87, 766-776

[18] Hannan J. (1980) The estimation of the order of an Arma process. Annals of Stat., 8, (5) 1071-1081 [19] Hannan E.J. (1982) Testing for autocorrelation and Akaike’s criterion. In Essays in Statistical Science, 403-412. Gani J.M., Hannan E.J. Eds.

[20] Veres S.(1987) Asymptotic distribution of likelihood ratios for overparametrized Arma processes. J. Time Series Anal. 8, 345-357

Artículos sobre los cálculos de entropía y los teoremas de Donsker.

[21] Ossiander M. (1987) A central limit theorem under metric entropy with ℓ^{2} bracketing. Annals of Prob., 15, 897-919

[22] Pollard D. (1984) Convergence of stochastic processes. Springer-Verlag

[23] Van der Vart A., Wellner J.A. (1996) Empirical processes. Springer-Verlag

Artículos sobre las técnicas de momentos.

[24] Gamboa F. and Gassiat E. (1993). Bayesian methods and Maximum entropy for ill posed inverse problems. Submitted.

[25] Kailath, T. (1980) Linear systems. Minimal order of state representation. Prentice Hall.

[26] Karlin, S. and Studden, W.J. (1966) Tchebychev systems with applications in analysis and statistics. Wiley

[27] Krein, M.G. and Nudel’man, A. (1977) The Markov moment problem and extremal problems. Am. Math. Soc.

Artículos sobre otros modelos.

[28] Gamboa F. and Gassiat E. (1994) Separation of discrete or circular sources. Manuscript

[29] Gassiat, E. and Gautherat, E. (1994) Identification of noisy linear systems with discrete random input. Submitted