把他拒之门外已经算是客气的了。
柴绍失魂落魄的离开了东宫，在大街转了半天也不知道去哪，最后无奈的回到家中，然后把自己关在书房里苦思对策，可惜想来想去却没能想出对应的办法，只能被动的等待朝廷的惩罚。
李渊那天虽然拒绝了平阳公主与柴绍和离的请求，但是看到这个最宠爱的女儿伤心的离去，心中也十分的愧疚，最后这种愧疚也转化为对柴绍的怒火，最先倒霉的是那个冯侍郎，先是被免官撤职，然后又被人查出中饱私囊，结果被抓到刑部的大牢之中。
柴绍做为这件事的幕后凶手，自然也没逃过惩罚，几天之后，一道圣旨从宫中往柴绍府中，这道圣旨的内容很短，直接免去了柴绍的右骁卫大将军一职，罚俸三年，还让他闭门思过一个月，也没说什么理由，毕竟像这种涉及到皇族内部矛盾的事，一向都不会公开，反正被惩罚的人自己知道原因，也不敢有什么意见。
柴绍接到这道免职的圣旨后不禁眉头紧锁，罚俸和闭门思过都无关轻重，唯独免去了他的大将军有些严重，毕竟这样一来，他就成为一个没有实权的贵族，说话的份量也会大为减轻，如果换成其它官员的话，几乎相当于被就地免职，日后都不可能有再复起的希望，整个人的仕途也就此毁了。
不过李渊虽然免去了柴绍的实际官职，但却没有动他霍国公的爵位，这让柴绍从中品味到一丝希望，这说明李渊并不是真的想要把他彻底冷藏，而是给他一个严重的警告，日后很有可能会再次启用他，毕竟他背后还有一个根基深厚的家族，绝不是一般的官员可比。
想到上面这些，柴绍也不由得松了口气，李渊的惩罚虽重，但至少还给他留了一丝希望，只要他这段时间表现的老实一点，不要再去招惹平阳公主就行了，特别是等到过年时，他再借这个机会进宫向李渊认个错，估计这件事也就过去了。
抱着上面的想法，柴绍老老实实的在家呆了一个月，他是个喜欢热闹的人，每天被关在家里简直就是种折磨，不过为了不惹李渊生气，他还是强忍着在家里呆了整整一个月，甚至在闭门思过期满之后，他也尽量的减少外出，营造出一种深居简出的样子。
柴绍最常去的地方是长安东市附近一家赌场，名叫东安赌场，虽然大唐禁赌，但长安城大大小小的赌场却有几十个，东安赌场算是其中最大的一个，而且这家赌场表面上是一个外地的商人所开，但实际上的控制人却是柴绍。
柴绍好赌，这几乎是所有武将的通病，当初还是前隋时