Одним из важнейших «навыков» автопилота является возможность анализировать дорожную ситуацию и принимать решения о тех или иных действиях на основе получаемой с камер информации. Для того, чтобы автомобиль мог различать встречающиеся ему на дороге объекты, используются специальные системы машинного зрения.