Nach Besuch der Unterstufe des Realgymnasiums in Graz trat er 1935 in die Militär-Mittelschule Graz-Liebenau ein, um österreichischer Offizier zu werden. Da im März 1938 die Okkupation Österreichs erfolgt war, wurde er unmittelbar nach der Matura im März 1939 zum deutschen Reichsarbeitsdienst und im Herbst zur Wehrmacht einberufen. Als Fahnenjunker der Infanterie erlitt er im Frankreichfeldzug eine schwere Verwundung. Nach sechsmonatigem Lazarettaufenthalt absolvierte er im Frühjahr 1941 die Offiziersausbildung an der Kriegsschule Potsdam und wurde Leutnant. Den Krieg gegen die Sowjetunion machte er als Frontoffizier der Infanterie vom Zugführer bis zum Kompaniechef mit und wurde dabei dreimal verwundet. Im Februar 1943 zum Oberleutnant befördert, erwarb er sich im August dieses Jahres bei Vetitnevo (ca. 120 km ostwärts Smolensk) als 22-jähriger im Grenadier-Regiment 109 der 35. Infanterie-Division das Ritterkreuz des Eisernen Kreuzes – bei seinem niederen Rang damals nichts Alltägliches. Zuletzt als Hauptmann im Stab der 35. Infanteriedivision tätig, geriet er 1945 ostwärts Danzig in sowjetische Kriegsgefangenschaft. Sie dauerte acht Jahre.
Nach seiner Heimkehr stellte er sich bald in den Dienst der B-Gendarmerie. Jetzt war es die österreichische Uniform, die er trug und hier war es auch, wo er sich der Ausbildung junger Österreicher zum Offizier widmen konnte. Denn seit Mai 1954 diente er in der Gendarmerieabteilung K in Enns, der Vorläuferin der Theresianischen Militärakademie. Nach deren Wiedererrichtung wurde er am 1. Januar 1957 ihr erster Stabschef. Nach der Absolvierung des 1. Generalstabskurses zum Hauptmann des Generalstabes befördert, diente er an der Panzertruppenschule als Chef des Stabes und auch als Kommandant des Panzergrenadier-Schulbataillons in Großmittel. Am 1. Oktober 1960 wurde er in die Ausbildungsabteilung des Bundesministeriums für Landesverteidigung berufen, wo er – unter anderem – für die Gründung der Ausbildungszeitschrift „Truppendienst“ verantwortlich war.
Von 11. März 1963 bis 19. Januar 1966 war er stellvertretender Leiter der Operationsabteilung. Am 20. Januar 1966 wurde er zum Leiter der Generalstabsabteilung und zum Oberst des Generalstabs befördert. Damit war er engster Berater des Generaltruppeninspektors, General der Infanterie Erwin Fussenegger. In dieser Stellung trug er auch die Verantwortung für die österreichischen UN-Kontingente, an deren Aufbau, Ausbau und Konsolidierung er entscheidenden Anteil hatte. Damals erfolgte die erste Entsendung von Beobachteroffizieren zu UNTSO (United Nations Truce Supervision Organization) an den Suezkanal (1967), der erste Einsatz eines österreichischen Bataillons auf Zypern (1972) und vor allem die Verlegung von Teilen des Zypernbataillons zu UNEF (United Nations Emergency Force) an den Suezkanal, die schließlich zur Aufstellung zweier UN-Bataillone führte (1973), von denen eines bei UNFICYP (United Nations Peacekeeping Force in Cyprus) im Abschnitt Larnaka und eines ab 1974 bei UNDOF (United Nations Disengagement Observer Force) auf den Golanhöhen eingesetzt war. 1970 wurde er zum Brigadier befördert und diente auch unter Fusseneggers Nachfolgern, General der Artillerie Otto Seitz und General der Infanterie Anton Leeb. Am 1. Dezember 1976 machte Minister Karl Lütgendorf ihn zu seinem Kabinettschef. Nach dem Abgang dieses Ministers wurde er auch vom nächsten Ressortchef, Bundesminister Otto Rösch, übernommen.
Nach der Pensionierung des Generals der Infanterie Hubert Wingelbauer wurde er am 1. Januar 1981 bei gleichzeitiger Beförderung zum General zum fünften Generaltruppeninspektor des zweiten Bundesheeres ernannt. Die zweite Hälfte seiner Amtszeit fiel in die Ära des Bundesministers Friedhelm Frischenschlager. Für Heinz Scharff stand auch weiterhin eine solide militärische Planung im Vordergrund, die eine möglichst sinnvolle Verwendung der kargen Mittel ermöglichen sollte, die dem Heer zugestanden wurden. Etliche seiner Gedanken und Ziele hat er in einer Reihe von Aufsätzen dargelegt, die im Zuge seiner Laufbahn veröffentlicht wurden.
1985 ging er in den Ruhestand.
(Quelle Wikipedia)