传说在很早以前，有一年大旱，上海金山一带的农田干得开裂，田里的禾苗都快要枯死了。农民们急得心里像着了火似的，整天坐也不是，站也不是，却也拿不出办法来，只得唉声叹气：“唉！要是能把黄浦江的水引到这里，就可以用水车里的水浇田了。”“说得到轻巧，开这么大一条河，得干多少年呀！”正在这时，“霍”地站出来一位虎背熊腰的黑脸大汉，他说：“把这件事交给我吧，我保管一夜工夫就开好。”“一夜工夫？”大家都简直有点不相信自己的耳朵，有人甚至还忍不住笑了出来。但是也没有别的办法，就随他去吧。第二天早晨，农民们奔到田里一看，啊呀！果然，一条清澈的河流从黄浦江分出来，灌溉了几千亩良田。这时候，大家才知道那黑脸大汉原来是汉朝大将军霍光显灵。他带领子子孙孙开河灌田，解救了这场灾难 。于是，人们就修筑了城隍庙，铸造了霍光将军的神像供在大殿。 

上海老城隍庙原为霍光神祠，供奉的是西汉名将霍光神主。上海建城隍庙，相沿成习，霍光成了上海资格最老的城隍爷。
秦裕伯是上海县陈行人，另有说是元末明初河北大名人。传说他是一个孝子，因其母感叹未见过金銮殿，故专门建了一座象金銮殿的建筑。被人告密，皇帝派员来查，他就连夜将殿改成金山神庙，躲过了一场灾祸。清军南下时，遭到上海地区人民的强烈抵抗，清军将领原准备屠城。屠城前夜，清军将领梦见了秦裕伯，秦警告他不准杀人，这才取消了屠城计划。因秦裕伯“显灵”，救了上海百姓，故被列为城隍爷。
据说上海人真正顶礼膜拜的还有第三位城隍爷。1937年抗日战争爆发后，市民从“陈公祠”中请出了1842年第二次鸦片战争中血染吴淞口、在吴淞炮台战死的江南提督陈化成的神像。

上海城隍庙真正始建于明永乐年间（1403-1424），距今已有近六百年的历史。

从明代永乐（1403-1424）到清代道光（1821-1850）是上海城隍庙最为繁盛时期；当然，作为上海地区重要的道教宫观，上海城隍庙在“文革”时期，自然也遭受了重大的打击，神像被毁，庙宇被挪为它用。1994年，随着宗教信仰自由政策的逐步落实，上海城隍庙得到恢复，重新成为由正一派道士管理的道教宫观，截至2005才得以恢复。

如今的上海城隍庙，包括霍光殿、元辰殿、财神殿、慈航殿、城隍殿、娘娘殿、父母殿、关圣殿、文昌殿九个殿堂，总面积约二千余平方米。作为道教宫观，上海城隍庙可谓历史悠久，在国内外享有盛名，随着经济的发展，已经成为上海小旅游圈，城隍庙道观、城隍庙小吃、豫园环在周围，呈现出上海城隍庙文化底蕴。“到上海不去城隍庙，等于没到过大上海”可见老城隍庙在上海的地位和影响。