Podle pověsti se domovním znamením pyšní už od 16. století a nechal je do zdi vsadit kupec, který objekt vlastnil, jako symbol svého bohatství.
Když se obchodník Silbach oženil s bohatou nevěstou Salomenou, koupil dva staré domy na Horním náměstí naproti radnici a rozhodl se, že na jejich místě postaví nový rohový dům s arkýřem a širokým vjezdem.
Pozval si na to nejlepšího stavitele v Olomouci a řekl mu, ať nehledí na peníze a dům postaví tak, aby se jím mohl kupec pyšnit. Na náměstí tak vyrostl velký objekt s mnoha okny a útulnými pokoji.
Sklepy byly prostorné a dvůr tak velký, že se do něj mohlo vjet i s vozem a koňmi. Když práce na stavbě utichla, ptal se stavitel obchodníka, jaké znamení dům ozdobí.
„Kupec se zamyslel. Jeden z jeho starších domů měl jméno U Zlaté lodi, ale to se mu moc nelíbilo. Chtěl si proto vše rozmyslet. Po chvíli marného přemýšlení ho napadlo, že se zeptá své ženy,“ popisuje začátek příběhu v knize o domovních znameních Helena Lisická.
Salomena hned věděla. Na domě by měl viset zlatý jelen. To je znamení, které nikdo nepřehlédne. Netrvalo dlouho a velký rohový dům se pyšnil symbolem urostlého zlatého jelena s mohutným parožím. Tělo měl z pozlaceného plechu a svítil do daleka.
Obchodník v budově otevřel vinárnu a jako první k posezení u vína pozval pány radní. Po dobrém jídle a pití se ujal slova purkmistr.
Ptal se kupce, proč zvolil za domovní znamení zrovna jelena, když má město za patrona svatého Prokopa, poustevníka, který se při svých modlitbách v lese živil mlékem divoké laně. Chtěl vědět, proč dům nezdobí laň.
„Silbach nevěděl, co na to říct, tohle ho nikdy nenapadlo. Najednou ho zamrzelo, že se dal nápadem své ženy tak unést a nedomyslel možné důsledky. Salomena mu však přispěchala hned na pomoc a purkmistrovi odvětila, že přece laň a jelen jsou podobná zvířata,“ píše Lisická.
Hosté se rychlé odpovědi zasmáli a dál nad znamením nepátrali. Když kupec po pár letech zemřel, byla už na návrh probošta od svatého Mořice uznána za patronku města svatá Pavlína.
Pak už nikoho nenapadlo se pozastavovat nad tím, že rohový dům zdobí právě zlatý jelen.
Zlatý jelen je nejrozměrnější zachované znamení v historickém jádru města. Koncem 16. století, kdy dům patřil zámožnému měšťanu Erhardu Silbachovi, došlo ke sloučení a následné přestavbě dvou zde stojících domů.
Datum vzniku znamení není ale přesně známo, nejspíše vzniklo po roce 1739, kdy dům vlastnil kupec Tomáš Hirsch (Hirsch znamená jelen). Jde tedy o mluvící znamení a je logické, že si reliéf nechal majitel umístit nad průčelí jako symbol svého jména a měšťanské pýchy.