李广的祖先是秦朝将军李信，曾率军战败燕太子丹。李广接受世传弓法，射得一手好箭。
汉文帝十四年(前166年)，匈奴大举入侵边关，李广以良家子从军抗击匈奴。因善于用箭，杀死和俘虏了众多敌人，升为汉中郎，以骑士侍卫皇帝。
多次跟随文帝射猎，格杀猛兽，文帝曾慨叹：“惜乎，子不遇时！如令子当高帝（刘邦）时，万户侯岂足道哉！”(《史记·李将军列传》)汉景帝即位后，李广为陇西都尉，不久升为骑郎将。
吴楚七国之乱时，李广任骁骑都尉跟随太尉周亚夫抗击吴楚叛军。因夺取叛军帅旗由此在昌邑城下立功显名。虽有功，但由于李广接受了梁王私自授给他的将军印，回朝后，没得到封赏。
诸王叛乱平定后，李广任上谷太守，匈奴日以合战。典属国公孙昆邪上书：“李广才气，天下无双，李广的一百名骑兵，也十分害怕，都想掉转马头往回奔。
李广说：“吾去大军数十里，今如此以百骑走，匈奴追射我立尽。今我留，匈奴必以我为大军之诱，必不敢击我。”(《史记·李将军列传》)
李广命令所有的骑兵说前进，一直走到离匈奴阵地不到二里多路的地方才停了下来。李广又下令道：“皆下马解鞍！”(《史记·李将军列传》)他手下的骑兵说：“虏多且近，即有急，奈何？”(《史记·李将军列传》)李广说：“彼虏以我为走，今皆解鞍以示不走，用坚其意。”(《史记·李将军列传》)
匈奴骑兵果真不敢冒攻。这时一名骑白马的匈奴将领出阵来监护他的士兵。李广骑上马，带十几个骑兵，射杀白马将，然后重回到他的队里，卸下了马鞍。他命士兵都放开马匹，睡卧地上。
这时天色已晚，匈奴兵始终觉得他们可疑，不敢前来攻击。半夜时分，匈奴以为汉军在附近有伏兵，想乘夜袭击他们，便引兵而去。第二天一早，李广回到了部队。但“大军不知广所之，故弗从。”
身为主将冒然追击而不通知大军，此不可取。自负其能，数与虏敌战，恐亡之。”(《史记·李将军列传》)于是被任为上郡太守。后李广又在陇西、北地、雁门、代郡、云中等地做太守，以打硬仗而闻名。
匈奴入侵上郡（郡治肤施，今陕西榆林东南鱼河堡），景帝派一个宠信宦官同李广一起统率和训练军队抗击匈奴。
一次宦官带几十个骑兵出猎，路遇三名匈奴人骑士，与其交战，结果，匈奴人射杀了所有随从卫士，还射伤宦官，宦官慌忙逃