Tantangan mendasar dari semua robotika adalah: Mustahil untuk mengetahui keadaan lingkungan yang sebenarnya. Perangkat lunak pengendali robot hanya dapat menebak keadaan dunia nyata berdasarkan pengukuran yang dikembalikan oleh sensornya. Ia hanya dapat mencoba mengubah keadaan dunia nyata melalui pembangkitan sinyal kendali.