伴随着这次大战，李尚也认识到了自己军队实力的不足，乡勇虽多，但实力极其低下，并且毫无组织，战斗起来也知道一拥而上或是一哄而散。田丰也认识到了这点，但他也拿不出什么好办法来。李尚思索了再三，决定仿效战国时秦国的军事改革，来对大齐村的乡勇进行改革。
首先是组织上的改革，大齐村的乡勇只有一个名义上的将领，但将领不可能去对这一百个人个挨个的指挥，因此肯定要对大齐村的组织模式进行改革。这也是为了让乡勇更有组织效力，更有战斗力。
李尚和高顺、费允、田丰众人商量，决定将乡勇的编制进行改革，以五人为一伍，设伍长，十人为一什，设什长，百人设百夫长，若一人不听命令，则伍长惩治，伍长不听命令，什长惩治，什长听命令，则百夫长惩治。
如今大齐村拥有一百六十人，其中绝大多数都是新兵，李尚决定设立百夫长两人，分别由费允和吕方担任，高顺仍统领陷阵营，其余各处，董家村设一百夫长，由罗宪担任，右平村虽然未收复，李尚也设立了一位百夫长，由张郃担任。其余的赵谷村和左北村，李尚也分别任命了两位百夫长，都是从当地的士兵中选拔上来的，百夫长直接向李尚负责，接受李尚的调遣。
至于什长、伍长的人选，田丰建议是召开一次比武大会，通过武艺的高低来选拔人才。李尚则认为有些不妥，摇了摇头，说：“不好，如果以后每次任命什长、伍长这些低级官职，都要召开一次比武大会，未免太繁琐了。而且没准这些武夫只会练武，不会杀人，见到敌人望风而逃。反而会降低军队的战斗力。我想了一个更好的办法来选拔人才。”“什么？”田丰好奇的说。李尚冷笑着说：“我们可以按照斩首的多少来任命官职，就比如说杀五人，我任命他为伍长，杀十人，为什长，杀人越多，官职越高。怎么样？”田丰听到李尚的话，倒吸了口凉气，不可思议的说：“斩首受级？这未免有些残酷吧。”李尚笑着说：“不对敌人残酷，那就是对自己残酷，只要把这种军制推行彻底，大齐村的乡勇定能成长为真正的虎狼之师。”
很快，李尚就召开了一次文武大会，挑选了十六个立有战功的乡勇担任什长，但李尚也当众宣布：“这十二个人虽然现在是什长，但未来能不能在什长这个位置上一直坐下去，还要看他们自己的表现，从现在开始，你们当中如果有人能杀人比他们中的某一个多，我立马提升他为什长代替原先的那个人。不仅是什长，伍长、百夫长也一样。不愿意当官也可以，你们每个人只要能