Toldboden er opført i 1833 efter tegning af kgl. hofbygmester J.H. Koch. Den blev imidlertid hurtigt for lille, og i 1847 blev toldboden ombygget og udvidet af arkitekt N.S. Nebelong. Det er endnu i den skikkelse, vi ser den i dag.
Toldboden ligger for enden af det oprindelige havnebassin fra 1803. Bygnignen tjente som toldkammer frem til 1953, hvor denne funktion blev flyttet til et nyopført toldkammer skråt overfor, Londongade 1. Toldboden er havnens eneste fredede bygning.
Ved siden af ligger Kanalfogedboligen, som er fra 1808 og dermed blandt havnens første bygninger.
I 1800-tallet var disse to bygninger ramme om statsmagtens tilstedeværelse på havnen – dels i form af skiftende kanal- og havnefogeders opsyn med kanalens tilstand, dels som toldvæsenets overvågning af varetrafikken. I 1929 rejstes en mindesten mellem toldboden og det inderste af kanalen for at hædre mændene bag byggeriet af Odense Kanal, særligt amtmand Fr. Buchwald.
De to bygninger udgør den ældste endnu eksisterende bebyggelse på havnen og er dermed de eneste levn – udover kanalen selv – der fortæller os om den oprindelige kanalhavns historie før industrialderens store udvidelser fra 1885 og frem. Den simple kanalfogedbolig og den lille toldbod siger i sig selv noget om de beskedne proportioner, der herskede i det 19. århundredes havn. Arkitektonisk og materialemæssigt adskiller bygningerne sig fra den øvrige, mere moderne havn. Samtidig er de charmerende bygninger, især toldboden og sprøjtehuset, atmosfæreskabende elementer.