其中，环境感知系统模拟人对局部车辆行驶环境的实时辨识的功能，包含遍布车身的雷达、机器视觉等传感器，以实现对行驶环境中车辆-车辆，车辆-道路以及车辆-行人相对运动关系的准确辨识，如车道线、交通灯信号、交叉路口信息、运动-静止障碍物、行人甚至动物等；
无线通信系统则是模拟人对大范围内车辆行驶环境的认识，其主要通过如3G/4G、WiFi、GPS、车-车/车-路通信等远程/短程的通信方式，实现诸如交通信息、天气状况、道路紧急事故、前方路口信息、行车盲点、车辆定位及导航等信息的辨识；
而智能控制系统主要模拟人分析和处理复杂环境信息，制定最优决策的过程，该过程既涉及复杂的人工智能优化算法，选择最安全、最高效的行驶路径，也需要对车辆各部件如发动机、电机、变速器等系统进行实时的车辆控制，以实现对车辆期望运动轨迹的快速跟踪。
如何综合应用环境感知、无线通信等手段，通过多类信息的综合处理，获取准确全面的行车环境信息，这是无人驾驶汽车技术发展所面临的首要技术难题。其次，复杂的行驶环境下，如何制定最优的决策，使得无人驾驶汽车在行驶过程中能够实现真正的安全、高效，也符合驾驶员的行为习惯，这将是无人驾驶汽车面临的另一技术难题。
谷歌无人驾驶汽车
谷歌无人驾驶汽车项目由谷歌工程师，斯坦福大学人工智能实验室主任塞巴斯蒂安-特龙主持。
谷歌无人驾驶汽车实现无人驾驶的第一步是导航，其导航系统的精度相比通常使用的车辆导航系统具有更高精度要求。由于目前交通道路信息更新速度很快，汽车所存储的信息有可能不准确，因此，谷歌无人驾驶汽车在行驶之前，需要人工设定行驶路线，以保证汽车行驶路线的准确无误。一旦汽车行驶路径设定完毕，系统将依靠车上所搭载的GPS传感器、安装于车顶的激光测距仪、安装于前后保险杠的四个雷达、安装于前挡风玻璃的摄像头等传感器，实时控制车辆自动驾驶。
由于实际道路环境复杂，谷歌无人驾驶汽车的车顶上所安装的激光测距仪是其中最重要的一个传感器。激光测距仪通过实时的旋转式激光探测，能够实时识别到车辆50英尺范围内的三维空间图像，将该图像和高分辨率的地图相结合，可以获取更加精确的行驶环境信息，相比单纯依靠GPS，其定位精度可达几个厘米，且能够重建汽车周围运动的各类物体模型。车载雷达则可以实时检测较远距离范围内运动的物体。前视摄像头可以对整个交通环境、周围建筑物、红绿灯等信息进行实时采集。无人车处理器将综合上述多类信息，重新构建集成交通环境的、更加准确的3D环境模型。
谷歌无人驾驶汽车还拥有多个同时运行的控制软件，例如车辆要进行换道操作，汽车控制器将会根据当前的车辆行驶环境，兼顾行驶路径平滑、车辆行驶速度、安全距离等因素，制定最优的换道轨迹；当经过十字路口，汽车将自动遵守交通规则。同时，安全是谷歌无人驾驶汽车最重要的要求，车内驾驶员可以随时接管自动驾驶系统。目前，在内华达州交通管理法规中，明确要求无人驾驶汽车内必须同时有两个人，一位实时监测车辆以及周围的环境，一位随时准备应对突发状况，绝对保证汽车的安全性。
2012年4月1日，谷歌决定联合全美运动汽车竞赛协会，将自己的无人驾驶汽车跟真正的赛车同场竞技，证明机器人比人类驾车技术要高。当然，谷歌无人驾驶汽车技术能否真正超越人类驾车技术，还有待时间的检验。