ABSTRACT
Contents 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 11.2 Mental Image Description Language Lmd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
11.2.1 Omnisensory Image Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 11.2.2 Tempo-Logical Connectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 11.2.3 Attributes and Standards. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287 11.2.4 Attribute Values and Atomic Loci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
11.3 Specification of DIRN’s World. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 11.3.1 Specification of Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 11.3.2 Specification of a Sensor Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 11.3.3 Specification of an Actor Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 11.3.4 Specification of the Brain Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
11.4 Interaction between DIRN and Its World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 11.4.1 Intelligent System IMAGES-M. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 11.4.2 Fundamental Computations on Lmd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
11.5 Problem Finding and Solving by DIRN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 11.5.1 Definition of Problem and Task for DIRN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 11.5.2 CP Finding and Solving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 11.5.3 MP Finding and Solving. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
11.6 Natural Language Understanding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 11.6.1 Word Meaning Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 11.6.2 Mutual Conversion between Text and Locus Formula . . . . . . . . . . . . . . . . . . . . . . . . 298
11.7 Cross-Media Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 11.7.1 Functional Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 11.7.2 Formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 11.7.3 Locus Formula Paraphrasing Function ψ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
11.8 Miscellaneous Cross-Media Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 11.8.1 Mixed-Media Dialogue by Text and Picture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 11.8.2 Linguistic Interpretation of Human Motion Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 11.8.3 Robot Manipulation by Natural Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
11.9 Discussion and Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
11.1 Introduction At present, the realization of wireless sensor and actor network (WSAN) is one of the challenging topics in the concerned research fields, and a considerable number of important issues have been proposed, especially from the viewpoint of networking [1-3]. From the viewpoint of artificial intelligence and cognitive robotics [4], a WSAN can be considered as an intelligent robot system with distributed sensors and actuators that can gather information of high density and perform appropriate actions upon its environment over wide areas. Furthermore, as an ideal ubiquitous computing environment, a WSAN must be intelligent enough to work autonomously and to interact with ordinary people when their aids are needed. In order to realize such an environment, we have proposed the concept of distributed intelligent robot network (DIRN [5]).
