Una Revisión de los Estimadores de Matrices de Bajo Rango y Matrices Dispersas
Información
Una RevisiónTecnológica
de los Estimadores de Matrices de Bajo Rango y Matrices Dispersas
Vol. 29(4), 281-290 (2018)
http://dx.doi.org/10.4067/S0718-07642018000400281
Hoyos
Una Revisión de los Estimadores de Matrices de Bajo Rango y
Matrices Dispersas
Juan P. Hoyos(1) y Pablo E. Jojoa(2)
(1) Corporación Universitaria Comfacauca Unicomfacauca, Facultad de Ingeniería, Santander de QuilichaoColombia (e-mail: )
(2) Universidad del Cauca, Facultad de Ingeniería Electrónica y Telecomunicaciones, Popayán-Colombia
(email: )
Recibido Oct. 26, 2017; Aceptado Ene. 11, 2018; Versión final Feb. 14, 2018, Publicado Ago. 2018
Resumen
Se presenta una revisión selectiva de los desarrollos más recientes en la estimación de la matriz de covarianza
con un número de muestras menores a la dimensión ambiente. En particular se consideran estimadores para
las estructuras bajo rango y dispersa, dando especial atención a los algoritmos más utilizados en la práctica.
Se presentan estimadores que recurren al uso de técnicas clásicas como umbrales y descomposición de valor
único (SVD), así como estimadores más novedosos basados en matrices aleatorias y optimización convexa.
Una de las principales conclusiones del estudio es que a pesar de los grandes avances en el desarrollo de
nuevos estimadores, temas relacionados al tiempo de cómputo de los programas convexos que utilizan los
estimadores han sido poco explorados. Además, se observa la falta de trabajos sobre el desarrollo de
estimadores para matrices con estructura conjuntamente dispersa y bajo rango.
Palabras clave: matriz de covarianza; bajo rango; dispersa; sketch; estimadores; matrices aleatorias
A Review of Low Rank and Sparse Matrix Estimators
Abstract
A selective review of the most recent developments in the estimation of the covariance matrix with a number
of samples smaller than the ambient dimension is presented. In particular, estimators are considered for low
rank and sparse structures, paying special attention to the algorithms most used in practice. Estimators that
resort to the use of classical techniques such as thresholds and singular-value decomposition (SVD), as well
as newest estimators based on random matrices and convex optimization are presented. One of the main
conclusions of the study is that, in spite of the great advances in the development of new estimators, issues
related to the computation time of the convex programs that use the estimators have been little explored.
Additionally, lack of works on the development of estimators for matrices with jointly sparse and low rank
structure is observed
Keywords: covariance matrix; low rank; sparse; sketch; estimators; random matrices
Información Tecnológica – Vol. 29 Nº 4 – 2018
281
Una Revisión de los Estimadores de Matrices de Bajo Rango y Matrices Dispersas
Hoyos
INTRODUCCIÓN
La teoría de señales ha sido un área de constante investigación desde sus primeros usos en la teoría de la
información (Shannon, 2001). Sus avances han permitido el desarrollo de novedosos sistemas que han
impactado notablemente la manera de vivir, llevando a la sociedad a la era de las Tecnologías de la
Información y las Comunicaciones (TIC). El rápido crecimiento en la generación de datos e información por
los diferentes sistemas de comunicaciones, y las actuales limitantes han ocasionado que los problemas de
inferencia estadística y procesamiento de datos de altas dimensiones se hayan convertido en un reto de alta
complejidad, ya que buscan cada vez métodos más eficientes de estimación de las estadísticas de segundo
orden, manteniendo niveles óptimos de precisión (Chen et al., 2015; Leus y Tian, 2011). Entre las limitantes
actuales se encuentra la capacidad de procesamiento y la memoria disponible, por lo cual técnicas como
censado compresivo o compressed sensing (Bryan y Leise, 2013) y sketches (Chen et al., 2015) recurren al
uso de optimizaciones y matrices aleatorias para realizar una recuperación a partir de mediciones y
procesamiento de los datos sin requerir de su almacenamiento.
La estimación de matrices juega un papel preponderante en muchas aplicaciones, en especial la estimación
de la matriz de covarianza es fundamental en aplicaciones como procesamiento de señales (Krim y Viberg,
1996), reconocimiento de patrones, geometría convexa computacional, estadística de altas dimensiones,
aprendizaje de máquina,..., ya que captura la estructura de la covarianza de las variables aleatorias
(Vershynin, 2012). Sea x un vector aleatorio en Rn distribuido acorde a alguna función de distribución μ. La
matriz de covarianza viene definida como
E{{(x Ex)(x Ex)T } E {(x Ex) (x Ex)}
(1)
y tiene las propiedades de ser simétrica y semi-definida positiva. Los autovectores de la matriz de covarianza
son llamados los componentes principales, he aquí la importancia en Análisis de Componentes Principales o
PCA (por sus siglas en ingles). La estimación de la matriz de covarianza se puede realizar a partir de muestras
mediante
k
1 k
(x E x)(x E x)T
k i1
(2)
y de acuerdo a la ley de grandes números se garantiza que el estimador se vuelva ajustado cuando el número
de muestras k va al infinito, es decir Σk → Σ cuando k →∞. La dificultad radica en cuán grande debe ser el
número de muestras para asegurar que la muestra de covarianza converja a la covarianza verdadera?, o
equivalentemente cuantas muestras debo tener para lograr cierta precisión (ε=0.001) en el operador norma
k ,
(3)
donde ║∙║es la norma espectral. En (Tropp, 2015) se demuestra que si el número de muestras es mayor a
cε-2nlogn el estimador muestral provee una relativa precisión en la estimación de la verdadera matriz de
covarianza Σ. Pero con la gran cantidad de datos, generalmente las matrices son extremadamente grandes y
con las facilidades en el censado y adquisición de datos, el tamaño tiende cada vez a aumentar.
Por limitaciones de volumen y costos es común no poder muestrear completamente los datos de salida para
obtener la matriz completa, o en campos como la biología o medicina el número de muestras disponibles es
reducido y generalmente menor que el tamaño de variables (Kwan, 2011). Por tanto se hace necesario
desarrollar técnicas de estimación de matrices de covarianza capaces de lograr un bajo error sujetos a que el
número de muestras k sea moderado comparado a n.
El estimador bien condicionado desarrollado por Ledoit y Wolf (2003, 2004) conocido como estimación
shrinkage que al igual que el estimador muestral tiene la ventaja de no necesitar conocer la estructura de la
matriz de covarianza y logra un mejor desempeño que el estimador muestral (Ledoit y Wolf, 2012). Otros
métodos basados en teoría de matrices aleatorias, optimización convexa y muestreo compresivo han
demostrado obtener una mejor estimación que los anteriores métodos, incluso cuando se tiene ruido (Bai y
Shi, 2011; Walden y Schneider-Luftman, 2015). Además, sus resultados son mejores cuando se tiene en
cuenta e (...truncated)
