吕不韦从父亲吕倾权手中接过家族生意两三年后，不但熟悉了所有业务，还新增了丝绸业务，生意做得风生水起。此时的吕不韦已经二十三四岁了，吕倾权想着早点抱孙子，几番催促他娶妻生子。对于姜太公预言，吕不韦有所耳闻，但并不认为“天下”和他有任何关系。同样，他的父亲吕倾权作为一个商人，就更不敢妄想了。洛白临终之际，曾对吕倾权说过“天下归于吕氏”的话，但在吕倾权听来，不过是妻子临终时的美好愿望，当时他只顾着伤心，并未多想。战国时代，商人再有钱，再成功，也没有地位，吕家祖上几代都是商人，怎么可能妄想得到天下呢？
濮阳吕氏是卫国人，小卫国是依附于大魏国的小国，由于吕不韦和魏无忌以及赵胜、赵奢兄弟的特殊关系，他将生意的重心逐渐转移到了大梁和邯郸。此时的赵国国力强盛，犹在大魏国之上，在七国之中仅次于秦国，邯郸城也是天下繁华之都，南北和东西交通要道，吕不韦遂将家族生意的总部从濮阳搬到了赵国的都城邯郸。
吕不韦初到邯郸经营丝绸生意之时，媚门媚主灵韵姑娘刚刚接了媚主贴心的班，成了贴心楼的主人。此时的贴心年岁已高，早已不是姑娘了，成了媚门副圣，准备接替媚圣钟离春。邯郸贴心楼和濮阳吕家关系匪浅，当初媚主贴心姑娘开设贴心春园就是吕倾权的老丈人白圭出的钱，吕倾权出的力。贴心虽然不在贴心楼，但吕家和媚门的关系还在。吕不韦是贴心楼的常客，一来是因为吕不韦年少，贴心楼有美女和美酒；二来吕不韦意欲拓展丝绸业务，贴心楼是引领潮流的地方，贴心楼的姑娘们穿的衣服都是吕家的丝绸。
这一日夜晚，吕不韦正在贴心楼和灵韵姑娘饮酒闲坐，一个客人喝醉了酒，借着酒意，夸口要楼主亲自相陪，否则便不肯罢休。贴心楼在邯郸闻名已久，一般客人无人不知其背后的关系很深，但此人似乎毫不顾忌。楼下姑娘们上来向灵韵汇报了情况，吕不韦问道：
“此是何人？你们可有人认得？”
“认得认得！他叫司空图，是我们这里的常客！”一姑娘道。
“既是常客，为何这般不懂规矩，难道不知道我贴心楼有平原君撑腰吗？”吕不韦如此道。吕不韦这么说，虽有些故意，但也不过分，毕竟他心里有数。
“他┄┄他是平阳君的内弟，若不是平阳君的人，我早把他料理了！”另一姑娘道。
平阳君是赵王和平原君同父异母的弟弟，叫赵豹，是赵国大将军，在赵奢封马服君之前三年，赵豹就因战功受封