ABSTRACT
Point to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 22.3 Review management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Point to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 22.4 Planning a systematic review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
22.4.1 The need for a systematic review or mapping study . . . . 299 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 22.4.2 Specifying research questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
22.4.2.1 Research questions for systematic reviews . 302 22.4.2.2 Research questions for mapping studies . . . 302
Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 22.4.3 Developing the protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 22.4.4 Validating the protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
22.5 The search process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306 22.5.1 The search strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
22.5.1.1 Is completeness critical? . . . . . . . . . . . . . . . . . . . 306 22.5.1.2 Validating the search strategy . . . . . . . . . . . . . 307 22.5.1.3 Deciding which search methods to use . . . . 309
Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 22.5.2 Automated searches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
22.5.2.1 Sources to search for an automated search 310 22.5.2.2 Constructing search strings . . . . . . . . . . . . . . . . 311
Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312 22.5.3 Selecting sources for a manual search . . . . . . . . . . . . . . . . . . . 313 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 22.5.4 Problems with the search process . . . . . . . . . . . . . . . . . . . . . . . 314 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
22.6 Primary study selection process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 22.6.1 A team-based selection process . . . . . . . . . . . . . . . . . . . . . . . . . . 315 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 22.6.2 Selection processes for lone researchers . . . . . . . . . . . . . . . . . 318 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
. . Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 22.6.4 Papers versus studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 22.6.5 The interaction between the search and selection
processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 Point to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
22.7 Validating the search and selection process . . . . . . . . . . . . . . . . . . . . . . 321 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
22.8 Quality assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 22.8.1 Is quality assessment necessary? . . . . . . . . . . . . . . . . . . . . . . . . 323 22.8.2 Quality assessment criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
22.8.2.1 Primary study quality . . . . . . . . . . . . . . . . . . . . . 323 22.8.2.2 Strength of evidence supporting review
findings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324 22.8.3 Using quality assessment results . . . . . . . . . . . . . . . . . . . . . . . . 328 22.8.4 Managing the quality assessment process . . . . . . . . . . . . . . . 328
22.8.4.1 A team-based quality assessment process . 329 22.8.4.2 Quality assessment for lone researchers . . . 330
Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331 22.9 Data extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
22.9.1 Data extraction for quantitative systematic reviews . . . . 331 22.9.1.1 Data extraction planning for quantitative
systematic reviews . . . . . . . . . . . . . . . . . . . . . . . . . 331 22.9.1.2 Data extraction team process for
quantitative systematic reviews . . . . . . . . . . . 334 22.9.1.3 Quantitative systematic reviews data
extraction process for lone researchers . . . . 335 22.9.2 Data extraction for qualitative systematic reviews . . . . . 336
22.9.2.1 Planning data extraction for qualitative systematic reviews . . . . . . . . . . . . . . . . . . . . . . . . . 337
22.9.2.2 Data extraction process for qualitative systematic reviews . . . . . . . . . . . . . . . . . . . . . . . . . 337
22.9.3 Data extraction for mapping studies . . . . . . . . . . . . . . . . . . . . 338 22.9.3.1 Planning data extraction for mapping
studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 22.9.3.2 Data extraction process for mapping
studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 22.9.4 Validating the data extraction process . . . . . . . . . . . . . . . . . . 342 22.9.5 General data extraction issues . . . . . . . . . . . . . . . . . . . . . . . . . . 342 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
22.10 Data aggregation and synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 22.10.1 Data synthesis for quantitative systematic reviews . . . . . 343
22.10.1.1 Data synthesis using meta-analysis . . . . . . . . 344 22.10.1.2 Reporting meta-analysis results . . . . . . . . . . . 346
reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
22.10.2 Data synthesis for qualitative systematic reviews . . . . . . . 348 22.10.3 Data aggregation for mapping studies . . . . . . . . . . . . . . . . . . 350
22.10.3.1 Tables versus graphics . . . . . . . . . . . . . . . . . . . . . 351 22.10.4 Data synthesis validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 General points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
22.11 Reporting the systematic review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 22.11.1 Systematic review readership . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 22.11.2 Report structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 22.11.3 Validating the report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355 Points to remember . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
22.1 Introduction This rather long chapter is a revision of our previous guidelines for system-
atic reviews for software engineering research (Kitchenham & Charters 2007). There are deliberate overlaps with information provided in the preceding chapters of this book, so that this chapter can be used as a self-standing set of guidelines. However, we do cross-reference sections of the book where more detailed information about specific topics can be found.
