Peter Høier Holtermann gikk i tømmermannslære i Christiania, parallelt med at han var elev ved Den kongelige Tegneskole. Han var arkitektstudent i Berlin 1842-46, og etablerte egen virksomhet i Christiania i 1846.

Arkitekt Holtermann ble tidlig betrodd store oppgaver. Blant de viktigste var utbyggingen av Norges landbrukshøgskole på Ås (1854-59), en utbygging som omfattet 17 bygninger, hvorav tre enkle teglbygninger dannet kjernen. Holtermann sto bak utformingen av flere fabrikkbygninger langs Akerselven, blant annet Christiania Seildugsfabrik (1856) og Akerselvens Klædefabrik (1865), og han tegnet Rådhuset og Latinskolen i Tromsø (1862-65, sistnevnte nedbrent 1979).

Holtermann tegnet også flere kirkebygg. Blant disse nevnes Haslum kirke (ombygging,1853), Nes kirke (Akershus, 1860, nyromansk teglkirke), Aremark kirke (1861, enkel middelalderinspirert teglkirke), Treungen kirke (1863, nygotikk) og Holla kirke (1865-67,nyromansk/nygotisk).

Blant de mindre bygningene Holtermann utførte er de fleste revet, som Christiania Sparebank (1854), arbeiderboligkompleksene i Nedre Hammersborggate 11 (1852) og Rosenkrantz' gate 8 (1858), villaen i Drammensveien 54 (1863, nyromansk) og et flytende badehus ved Kavalerbryggen på Oscarshall.

Av hans arbeider med ombygging og restaurering ved Bogstad gård finnes idag havetrappen (bygget 1855). Stabburets eksteriør i sveitserstil ble utført av Holtermann, likeledes murstensfjøset, hovedporten til gårdsplassen og fiskehuset (alle oppført på 1850-tallet).

Holtermann bar tilnavnet "Den norske Bjørn". Han omkom ved en arbeidsulykke i 1865.