Fast method to compute the scalar product of gradient and given vector

Abstract

The paper deals with a special problem in Automatic Differentiation. Letf be a rational function ofn variables, let #(f) denote the number of operations to evaluatef(x), letg denote the gradient off. Many algorithms for minimizingf(x) require the scalar productg(u) ^tv. In the standard method for computingg(u) ^tv the amount of work grows withn·#(f). In this note a new method for computingg(u) ^tv is presented. The new method is considerably faster, its amount of work only grows with #(f).

Zusammenfassung

Die Arbeit behandelt ein spezielles Problem des Automatischen Differenzierens. Seif eine rationale Funktion vonn Variablen, sei #(f) die Anzahl der Operationen in der Auswertung vonf(x), seig der Gradient vonf. Viele Algorithmen zur Minimierung vonf(x) benötigen das Skalarproduktg(u) ^tv. In der Standardmethode zur Berechnung vong(u) ^tv wächst der Arbeitsaufwand mitn·#(f). In der vorliegenden Arbeit wird eine neue Methode zur Berechnung vong(u) ^tv angegeben. Die neue Methode erweist sich als wesentlich schneller, ihr Arbeitsaufwand wächst nur mit #(f).