割据于西北一隅的凉国，一向是石虎的心腹大患。
凉国始于张轨。公元301年，凉州大姓汉族人张轨被晋朝封为凉州刺史，313年封西平公，课农桑、立学校，多所建树。又铸五铢钱，全境通行。
后张轨死，其子张寔袭位。西晋灭亡后，仍然拒守凉州，使用司马邺的建兴年号，成为割据政权。直到320年，张茂改元永元，前凉遂彻底成为独立政权！
值得一提的是，张氏世守凉州效仿窦融，向东晋俯首称臣，但其名为晋臣，私下却亦向汉赵、后赵称臣。可见张氏凉州实则独立（或者讲至少是半独立）的割据政权，而并非东晋实际掌控的地方势力，史称“前凉”。
凉国的军事力量还是十分强大的。
凉国政权已经历张轨、张寔、张茂、张骏四世而治，先后打退了刘曜、石虎的进攻，又西越流沙，攻打龟兹，西城诸国先后归附。然后击败了伊吾戊己校尉赵贞，在其地设立高昌郡，控制了从陇西到西域的广大地区。
到张骏时，凉国达于极盛，境内分置凉、沙、河三州，设西域长史于海头，在今吐鲁番地区设置高昌郡，统治范围包括甘肃、宁夏西部以及新疆大部，史载其疆域“南逾河、湟，东至秦、陇，西包葱岭，北暨居延”。
张氏一族可谓是首鼠两端之极，曾先后接受过晋王朝、汉赵（前赵）、后赵的册封，譬如现在凉国的当家人张骏，东晋朝廷拜张骏为使持节、大都督、大将军、凉州牧、领护羌校尉、西平公。
前赵帝刘曜又派使者拜张骏为凉州牧、凉王。此外，石勒还曾拜张骏为凉州牧、镇西大将军、凉王。
张氏凉国名义上归附于他国，沦为附庸，但实质上是一个独立的政权。
对于这种军事上的事情，石虎还是要过问一下大将军石闵的意见的。
“棘奴，你认为呢？”
石闵站出来说道：“大王，臣以为此时出兵征辟西凉，正当其时！西凉张氏，桀骜不驯，早有不臣之心，其曾先后接受过晋国、西赵（前赵）和我大赵国的册封，然早已自立一国，境内用的是自己的年号！”
“今凉王张骏，有谋略，能磨砺节操改正过失，勤于政务，统领文武官员，全都能发挥他们的才智，远近之人称颂，号称为积贤君！自从张轨到凉州后，正值天下大乱，各处征伐，军队从来没有安宁的时候。到张骏时，境内逐渐平定。”
“早年，张骏又派其部将杨宣率军越过沙漠，征伐龟兹、鄯善，于是西域诸