1385 als "nova platea retro sanctum Petrum" (neue Gasse hinter Sankt Peter) erwähnt, 1459 als "parva platea sancti Petri" (kleine Gasse bei Sankt Peter), im 16. Jahrhundert auch als "parva platea versus ecclesiam" (kleine Gasse zur Kirche). 1617 und 1643 wird die Gasse Kirchengasse genannt. Der heutige Name Pumpengang findet sich auf Plänen erst seit 1869.

Die meiste Zeit scheint diese Gasse unter dem durch ihre Lage bedingten Namen "Bei Sankt Peter" oder "Kirchengasse" gelaufen zu sein. Auch die spätere St.-Trinitatis-Kirchengasse wurde zeitweilig Kirchengasse genannt, was gelegentlich zu Verwechslungen führen konnte. Der Name Pumpengang verweist vermutlich auf eine hier befindliche Wasserpumpe.

Geschichte