没想到刘黑七竟窜至赣榆，打开县城大事劫掠。
柳镜晓面子也挂不住了，这刘黑七从鲁北流窜鲁南，*劫掠无恶不作，自己前后动员三旅之众，耗用军费三百余万，竟让这刘黑七窜出省境，一气之下，柳镜晓竟要通电辞去十七师师长之职，亲率一支精锐围剿刘黑七。
各方纷纷挽留，就连段铁民都复电请柳镜晓暂时协助地方治安，谁都知道柳镜晓那是在演戏，柳镜晓这才亲自到鲁南督战，又开了一次临战会议，这一次柳镜晓可是带了上百万军饷南下，对干部们拍着胸膛说道：“我这个作师长的，就等着你们立功的时候了！”
柳镜晓使的是胡萝卜加大棒战术，同时宣布作战不力者就地免职，擅自退却者军法处事，官兵们一路风餐露宿，也是一战解决刘黑七。
刘黑七这一路来，只攻开了几个小镇子，一个县城一个也没打开，匪部是又困又累，在赣榆县城休整了两日，又强抓了不少肉票，士气这才复援。
只是此时匪部收拢起来，也不过五六千人，最精锐的黑马队虽经多次补充，现下只余三百余人，而李定远也率着部队反攻赣榆，他一咬牙，只能再度北进。
他的计划自海州沿日照北窜至昌乐，意图越过潍县劫车，匪队行动到青凤即岭被当地保安队发现，众匪回窜安邱县景芝镇一带，分住二十余村，雹泉镇驻扎大队匪兵，刘黑七就驻此村。
刘匪既已显露行踪，柳镜晓当即派兵会剿，司马勘部探得刘匪所在，当即全团轻装，由向导带路直奔目的地；拂晓前越过刘部防御点攻入刘部中枢，刘匪不支，刘黑七骑马突围，途中被伏兵击中左臂，后化装成商人，逃亡周村，转逃天津石家胡同疗伤。
匪部则被歼，此战俘获了许多热河人和察哈尔人，安邱县监狱住不下，柳镜晓令安邱县长从速从重审理。
仅安邱县斩杀刘部校尉级数百人，许多当上小官的勤杂人员也很少幸免，场面十分血腥，安邱县长审理此案后，神经失常。
不过经此一役，数万刘匪化作乌有，只有少量残匪流窜各地，已是不成气候，而借这剿匪之机更加强对各地的控制力度，因此刘部溃灭对于柳镜晓是大好消息。
山东受匪害甚烈，刘匪溃灭，省内可得数年安宁，因此各地贺电不绝。就连在外旅居的鲁省人士也得闻家乡匪乱已定，也一致通电请柳镜晓就任山东督军。
柳镜晓却没有就任山东督军的意愿，不过也有意外之喜，山东人在外作官的为数不少，直鄂两系都有一批山东将官，