至于鬼市的由来，一说来自晚清时期，时局动荡，许多清廷遗贵，破落富豪，家道败颓后无以糊口，只能靠变卖祖宗留下来的那点家产苟且维生。但是总归曾经显赫一时，哪里放得下架子丢得起面子？于是趁着天亮前半明半暗的光线，拿了古董偷偷到街边摆摊贩卖，既躲开了熟人还做成了买卖。久而久之，沿袭成市就是“鬼市”了。
又一种说法是鬼市开市时间早，天还没亮，在幽幽晃晃如鬼火一般简陋的照明设备下，人影穿梭停走，飘忽不定。鬼没半只，鬼气先有了。再加上很多梁上君子也到此脱手一些见不得光儿的玩意儿，更有造假者趁乱兜售一些赝品，两者又都是鬼鬼祟祟的。前前后后总之是离不开“鬼”字，鬼市由此得名。