ABSTRACT
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
9.1.1 Identifiability of the LCM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 9.2 Maximum-Likelihood Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 9.3 Parsimonious Latent Class Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
9.3.1 A Parametrization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.3.2 Five Latent Class Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.3.3 A Short Focus on Model [εjk] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 9.3.4 M-step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 9.3.5 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
9.4 The Latent Class Model as a Cluster Analysis Tool . . . . . . . . . . . . . . . . . . . . . . . 179 9.4.1 CEM Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
9.5 Bayesian Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 9.5.1 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 9.5.2 The Label Switching Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 9.5.3 Regularized Maximum Likelihood through Bayesian Inference . . . . . . . . 183
9.6 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 9.6.1 Information Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
9.7 A Note on Model-Based Clustering for Ordinal and Mixed Type Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.7.1 Ordinal Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.7.2 Mixed-Type Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
9.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 9.9 An Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
9.9.1 Running Conditions of the Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 188 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
This chapter deals with mixture models for clustering categorical and mixed-type data, which are in the literature often referred to as latent class models. The chapter introduces the maximum-likelihood approach and the EM algorithm. It introduces Bayesian approaches and has a comprehensive discussion of parsimonious models and methods for model selection and estimating the number of clusters such as information criteria. This chapter concludes with techniques for ordinal-and mixed-type data.
