ABSTRACT
Contents 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
6.1.1 The infinite node Poisson model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 6.1.2 Broad issues (BIs) to consider for data network modeling . . . . . . . . . 291
6.2 How do heavy tails cause long range dependence? . . . . . . . . . . . . . . . . . . . . . . 294 6.2.1 The infinite node Poisson model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 6.2.2 Connection between heavy tails and long range dependence . . . . . . 295
6.3 Further implications of the simple model: is network traffic stable Le´vy motion or fractional Brownian motion? . . . . . . . . . . . . . . . . . . . . . . . . . . .297 6.3.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 6.3.2 The critical input rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 6.3.3 α-stable approximations for the infinite source Poisson model
under slow growth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 6.3.3.1 The basic decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 6.3.3.2 Moments of the summands . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 6.3.3.3 α-Stable limits: one-dimensional convergence . . . . . . . . . . . 304 6.3.3.4 α-Stable limits: finite dimensional convergence . . . . . . . . . 306
6.3.4 FBM approximations for the infinite source Poisson model under fast growth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
6.3.5 Covariance calculations for the infinite source Poisson model . . . . . 307 6.4 Does the model fit the data? Checking for Poisson, independence,
stationarity. Formal and informal statistical techniques . . . . . . . . . . . . . . . . . . 308 6.4.1 How do you identify Poisson time points and validate the
choice statistically? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 6.4.2 Checking heavy tailed data for independence . . . . . . . . . . . . . . . . . . . . 309
6.4.2.1 The sample autocorrelation function . . . . . . . . . . . . . . . . . . . 309 6.4.2.2 Two Q&D methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
6.4.3 Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 6.5 Does the model fit the data? How to detect heavy tails . . . . . . . . . . . . . . . . . . 315
6.5.1 The Hill estimator and Hill plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
6.5.1.1 The Hill estimator in practice . . . . . . . . . . . . . . . . . . . . . . . . . . 317 6.5.1.2 Variant 1: The smooHill plot . . . . . . . . . . . . . . . . . . . . . . . . . . 319 6.5.1.3 Variant 2: Alt plotting; changing the scale . . . . . . . . . . . . . . 321
6.5.2 Dynamic and static QQ-plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 6.5.3 The Dekkers, Einmahl, De Haan moment estimator . . . . . . . . . . . . . 325 6.5.4 Peaks over threshold method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
6.6 Does the model fit the data? Long range dependence, self-similarity, Hurst phenomenon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 6.6.1 Long range dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 6.6.2 Self-similarity in discrete time; connections with long
range dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 6.6.3 Self-similarity in continuous time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
6.6.3.1 Fractional Brownian motion . . . . . . . . . . . . . . . . . . . . . . . . . . 332 6.6.3.2 Asymptotic self-similarity in continuous time . . . . . . . . . . 332
6.6.4 Should we be happy? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 6.6.5 Statistical techniques and exploratory methods . . . . . . . . . . . . . . . . . 333
6.6.5.1 The sample ACF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 6.6.5.2 The variance-time plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 6.6.5.3 The Hurst phenomenon and the R/S statistic . . . . . . . . . . . 336 6.6.5.4 Trying to explain the Hurst phenomenon . . . . . . . . . . . . . . 339 6.6.5.5 Wavelet methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
6.7 Does the model fit the data? Small time scales: Ho¨lder exponents and multifractality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345 6.7.1 Second order definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 6.7.2 Pathwise definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
6.8 A model for large and small time scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 6.8.1 A more general model appropriate for the study of small and
large time scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .349 6.8.1.1 Small time scale behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 6.8.1.2 Large time scale behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
6.8.2 A model more amenable to statistics . . . . . . . . . . . . . . . . . . . . . . . . . . 351 6.8.2.1 A model for asymptotic independence . . . . . . . . . . . . . . . . . 355
6.9 A model with a control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 6.9.1 Construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 6.9.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
6.10 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360 Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
Data networks offer a fascinating, if somewhat potentially frustrating, setting for many applied probability and extreme value techniques to be applied. We survey some of the basic models and statistical techniques for fitting the models. We point out some of the shortcomings in the models and in the statistical techniques. The required range of techniques is broad. The ability to contribute in internet time is questionable.
