Nicht wenige der Häuser in der Altstadt mit ihren markanten Kopfsteinpflaster-Gassen sind mehr als 500 Jahre alt.
Denn seit dem 16. Jahrhundert war Otterndorf nicht zerstört worden. Zu den historisch interessantesten Gebäuden zählt z. B. die 1614 gebaute Alte Lateinschule.
In ihr wirkte von 1778 bis 1782 der Rektor Johann Heinrich Voß, der sich vor allem als Dichter und Übersetzer einen Namen gemacht hatte: Er übersetzte die Werke des griechischen Epikers Homer aus der zweiten Hälfte des achten Jahrhunderts vor Christi; in Otterndorf bekam die „Odyssee” von Homer wieder ihren alten Glanz zurück.