Finite-length performance analysis and data-driven design for hypothesis testing

Abstract

Inspirado en el aporte de Claude E. Shannon en comunicaciones, esta tesis aborda tres problemas relevantes de toma de decisiones que tratan con incertidumbre, restricciones de comunicación y un número nito de observaciones en test de hipótesis binarios (HT). En la primera parte de este trabajo, se entregan nuevas cotas de límites superiores e inferiores de desempeño para el test óptimo (Neyman-Pearson) en el problema clásico de HT binario. Nuestras cotas de régimen nito ofrecen la capacidad de cuanti car la relación entre el tamaño de la muestra y las probabilidades de error. En la segunda parte de este trabajo, derivamos un nuevo límite de desempeño teórico para un HT bivariado distribuido. Derivamos una expresión analítica para el exponente de error del Tipo II dado una restricción de error de Tipo I y una restricción de tasa. También medimos la discrepancia entre nuestras expresiones prácticas de desempeño con un número nito de muestras y sus límites asintóticos. Finalmente, estudiamos la colaboración en la inferencia distribuida en el caso del test de independencia con restricción de comunicación. Analizamos si la colaboración ofrece una ventaja en cuanto al compromiso óptimo entre los errores de Tipo I y Tipo II.

Inspired by the work of Claude E. Shannon in communication, this Thesis tackle three relevant decision-making problems that deal with uncertainty, communication constraints, and a nite number of observations ( nite-length analysis) in binary hypothesis testing (HT). In the rst part of this work, we o er new upper and lower performance bounds for the optimal (Neyman-Pearson) test in the classical binary HT problem. Our nite-length bounds o er the ability to quantify the relationship between sample size and error probabilities. In the second part of this work, we derive a new information-theoretic performance limit (error exponent) for a distributed bivariate HT. In distributed HT, observations are transmitted to the decision agent with a rate constraint (in bits per sample). We derive analytical expressions for the error exponent of the Type II error given a Type I error restriction and a rate constraint. We also extend the non-asymptotic nite-length performance bounds from the classical centralized setting to this distributed one. Finally, we study collaboration in distributed inference for testing independence with a xed-rate communication constraint. We analyze the bene ts of collaboration and evaluate in theory and practice if collaboration o ers an advantage regarding the optimal trade-o between Type I and Type II errors.