Het Linnaeustorentje is in de zestiende eeuw gebouwd en was oorspronkelijk de traptoren van de Commanderij van Sint Jan te Harderwijk. In de gevel van het achthoekige bakstenen torentje bevindt zich een gedenksteen met jaartal 1570 en links het wapen van commandeur Ten Start en rechts het wapen van de Johannieterorde.
Het poortje naast het Linnaeustorentje stond vóór 1912 aan de overkant van de Academiestraat tussen de Catharinakapel en pand Academiestraat 4. Bij de restauratie van de Catharinakapel in 1912 werd het afgebroken en naast het Linnaeustorentje weer opgebouwd. In de fronton staat de volgende tekst: Bono publico et Palladi Sacrum MDCXXVI, vertaald Aan het algemeen welzijn en Pallas gewijd, 1626.