カーレースゲームとはIEEE CEC 2007 Car Racing Competitonのコンピュータプログラム同士の対戦ゲームで、2台のカーエージェントが実数値環境である2次元平面上に置かれた目標を目指しながら得点を競うものである。我々は前に単独走行のカーエージェントの行動学習にファジィQ学習を用い、現在の目標をより少ないステップ数で通過できるようにステップ報酬を導入した。しかし、対戦ゲームにおいて自分の方が明らかに現在の目標を通過しやすい場合は、現在の目標を少ないステップ数で通過する事よりも、次の目標を通過しやすいように現在の目標を通過する事を優先させる方が良いと考えられる。そのために、本研究ではカーエージェントの前方に次の目標が位置するように現在の目標を通過できた時に追加報酬(向き報酬)を与えるようにした。向き報酬を与える対象となる行動や向き報酬の量を変化させて実験した結果を報告する。