Streaming Algorithms for Estimating Quantiles with Novel Error Guarantees

Abstract

Tato práce se zabývá proudovými (streaming) algoritmy pro odhad distribucí a kvantilů, které provedou jeden průchod přes vstupní proud dat za použití malé paměti. Po načtení proudu N prvků z lineárně uspořádaného univerza proudový algoritmus pro odhad kvantilů odpovídá s aditivní chybou, když je velikost chyby nejvýše ±εN a s re- lativní chybou, když je pro item y s rankem R(y) chyba nejvýše ±ε R(y). První z těchto problémů řeší optimálně algoritmus KLL v prostoru ε−1 , nejlepší známý algoritmus pro relativní chybu je ReqSketch, který potřebuje prostor ε−1 log1.5 (N). Náš algoritmus Jagged Sketch spočívá ve dvou vylepšeních algoritmu ReqSketch. První z vylepšení zmenšuje chybu √︂ log(N)-krát pro vysoké ranky, druhé zmenšuje chybu až log(N)-krát pro důležitý rank dle volby uživatele a ranky jemu blízké, to vše při zacho- vání stejného prostoru. Teoretickou analýzu jsme podpořili experimenty, které prokazují, že Jagged Sketch dokáže oproti ReqSketch skutečně snížit chybu pro vybrané ranky při zachování stejného prostoru a podobné chyby pro ostatní ranky. Pro ε ∈ O(log−1.5 N) odpovídá Jagged Sketch s aditivní chybou ve stejném prostoru jako KLL, přičemž si zároveň zachovává garanci téměř relativní chyby. V praxi je chyba Jagged Sketche pro velké ranky přibližně čtyřikrát větší, zatímco pro malé ranky...

This work deals with streaming algorithms for estimation of ranks and quantiles that perform a single pass through the input data stream using a small space. After reading a stream of N elements of a totally ordered universe, a streaming algorithm for rank (or quantile) estimation answers rank (or quantile) queries with additive error if the error is at most ±εN and with relative error if for item y with rank R(y), the error is at most ±ε R(y). The first problem is optimally solved by the KLL algorithm in space O(ε−1 ), and the best-known algorithm for the relative error is ReqSketch, which takes space O(ε−1 log1.5 N). Our algorithm called Jagged Sketch consists of two significant improvements to the ReqSketch algorithm. The first of the improvements reduces the error for high ranks by a factor of √︂ log(N), the second one improves the error by a factor up to log(N) for important ranks chosen by the user and for ranks close to them, all while maintaining the same space complexity. We support our theoretical analysis by experiments that demonstrate that Jagged Sketch can indeed reduce the error for selected ranks while maintaining the same space and similar error for other ranks compared to ReqSketch. For ε ∈ O(log−1.5 N) Jagged Sketch achieves additive error in the same space as KLL while...