Gerhard wurde zu Köln von angesehenen Eltern geboren. Frühzeitig widmete er sich den Übungen der Frömmigkeit und Buße. Darauf trat er in die Genossenschaft der Kleriker, die den Dom in Köln versahen und die Vorschriften der regulierten Chorherren befolgten. Als ihm das Amt eines Kellermeisters aufgetragen worden war, stand er ihm mit großer Weisheit vor. Am Hof des Kaisers war er sowohl wegen seines Verdienstes als seiner seltenen Tugenden sehr geschätzt.
Nach dem Tod Gauzelins, des Bischofs von Toul, wurde sogleich Gerhard am Anfang des Jahres 963 von Bruno, dem Erzbischof von Köln, Herzog von Lothringen und erster Minister des Kaisers Otto, seines Bruders, zu dessen Nachfolger bestimmt. Aus Gehorsam gegen seine Obern nahm er diese Würde an, ließ jedoch nicht im mindesten von seinem ersten Frömmigkeitseifer ab. Jeden Tag betete er dreizehn kanonische Horen ab und verband noch die Tagzeiten der Mönche mit denen der Chorherren, aus einer in dieser Zeit sehr üblichen Andacht. Nach der Heiligen Schrift las er kein Buch mit größerem Vergnügen als die Lebensbeschreibungen der Heiligen. Einen Teil der Nacht brachte er im Gebet und in Betrachtung über die den Tag hindurch gelesenen Inhalte zu, um so desto größeren Nutzen daraus zu schöpfen. Die seltenen Fähigkeiten, die ihm Gott zum Predigtamt verliehen hatte, weihte er stetem Unterricht der ihm anvertrauten Herde. Auch gesellte er sich eifrige Priester zu, die er als Missionare aufs Land schickte.
Für die Würde des öffentlichen Gottesdienstes, der ein Hauptteil der Religion ist, bewies er stets einen überaus großen Eifer. Er ließ die Kathedrale in Toul aufbauen und versah sie mit beträchtlichen Einkünften. (Die Kirche, wie man sie noch sieht, wurde 1447 gebaut.) Auch dem Kloster St. Avre, (Dieses Kloster ist am Ende des 5. Jahrhunderts vom heiligen Aper, dem Bischof von Toul, gestiftet worden.) nicht weniger dem, die sein Vorgänger, unter dem Namen des heiligen Mansuet oder Mansuy, des ersten Apostels des Touler Landes, gestiftet hatte, schenkte er ansehnliche Güter. Das Kloster St. Martin, das an der Maas gelegen war, hatte sich ebenfalls seiner Freigebigkeit zu erfreuen. In der Stadt Toul stiftete er ein Hospital und die Kirche von St. Gangolf. In sein Bistum zog er griechische und schottische Mönche an, die wegen ihrer Tugend und Wissenschaft damals eines hohen Rufes genossen. Die einen und die anderen legten Schulen an, aus denen mehrere große Männer hervorgingen. Der Schutz, den Gauzelin und Gerhard den Gelehrten angedeihen ließen, belebte wieder die Studien, die während eines Zeitraums von 60 Jahren in Lothringen mehr als an irgendeinem Ort blühten. Da diese Studien hauptsächlich die Religion zum Gegenstand hatten, übten sie starken Einfluss auf die Sitten. Und die Frömmigkeit wurde um so gründlicher, je erleuchteter sie war.
Der heilige Gerhard liebte die Gelehrsamkeit nur insofern sie mit der Demut und den anderen Tugenden gepaart war. Seine einzige Sorge ging sodann dahin, dass diejenigen, die zum geistlichen Stand bestimmt waren, vorzüglich durch alle Übungen des inneren Lebens geführt wurden. Die Erfahrung hatte ihn gelehrt, wieviel hieran gelegen sei.
Im Jahr 981 machte er eine Wallfahrt nach Rom. Das nachfolgende Jahr gab ihm Gelegenheit, Beweise seiner werktätigen Liebe abzulegen. Da seine Diözese von Hunger und Pest heimgesucht wurde, unterzog er sich ganz dem Dienst der Armen. Er wurde ihnen ein zärtlicher Vater und suchte allen ihren leiblichen und geistigen Bedürfnissen abzuhelfen.
Ungeachtet der von der bischöflichen Stelle unzertrennlichen zahllosen Beschäftigungen, besonders wenn man seine Pflichten gehörig erfüllen will, erübrigte dieser heilige Bischof doch noch Zeit genug, um sich den Übungen des beschaulichen Lebens zu widmen. Er tötete durch geheime Bußübungen seinen Leib ab und unterließ kein Mittel, das ihm geeignet schien, die Andacht und die Sammlung in seiner Seele zu unterhalten. Er starb am 22. oder 23. April 994, im 31. Jahr seines bischöflichen Amtes. Der heilige Papst Leo IX. setzte ihn im Kirchenrat zu Rom 1050 feierlich unter die Zahl der Heiligen. Und als er sich in Toul befand, wo er vorher Bischof war, befahl er, seinen Leichnam zu erheben und ihn auf eine angemessene Weise aufzubewahren. Dies geschah am 30. Oktober desselben Jahres.