太守督促他启程入朝。蔡邕走到偃师，听人说中常侍徐璜、左悺等五侯，擅权不法，不愿与其为伍，便假称生病，返回家中。在家无所事事，品玩古董，不与时人来往。
蔡邕被司徒桥玄征召为掾属，受到桥玄厚待。后出任河平县长，又被召拜为郎中，在东观校书，升任议郎。当初，朝廷认为州郡会相互勾结结伙营私，于是下令互为婚姻的家庭和两州人士，不得互相担任监察官吏。后来又有三互法，规定互为婚姻家庭和两州人士不得交互为官，禁忌更加严密。蔡邕上疏建议灵帝废除近禁，不要拘于时间与三互法，只要合适的就可以任用。但灵帝没有理会。
汉灵帝喜爱辞赋，创作《皇羲篇》，引来很多无操行趋炎附势的人，都在鸿都门学任职，喜欢讲一些地方风俗、乡里小事，灵帝非常高兴，不按常理予以升迁。有几十个市井小人，谎称自己是宣陵孝子，都被授予郎中、太子舍人的官职。蔡邕看不惯，上疏《密言七事》。灵帝虽然采纳了部分建议，如亲自在北郊迎祥气，举行辟雍礼仪，又下诏把那些以宣陵孝子为名被任命为太子舍人的，统统改任丞尉。但却引来了被弹劾官宦的嫉恨。
灵帝即位不久，常有雷霆疾风，伤树拔木，地震、冰雹、蝗虫为害，而鲜卑又侵犯边境。灵帝问群臣造成怪异现象的原因。群臣都守口如瓶，不肯尽心。蔡邕上奏，认为妇人、宦官干预政事，是怪异发生的原因之一，并弹劾太尉张颢、光禄勋玮璋、长水校尉赵玹、屯骑校尉盖升等人贪赃枉法，又举荐廷尉郭禧、光禄大夫桥玄、前任太尉刘宠，建议向他们咨议朝政。
灵帝看了奏章很是叹息，起身如厕时，奏章被曹节在后偷看，致使内容泄漏。被弹劾的人都非常恨他，企图打击报复，中常侍程璜使人匿名诬告蔡邕。灵帝因此下诏质问。蔡邕上疏为自己辩白，但由于得罪人过多，都在灵帝面前说他坏话，终被打入监牢，判“弃市”极刑。中常侍吕强怜悯蔡邕无辜，替他向灵帝求情，灵帝也想起了蔡邕之前奏章的话，下诏将他免死，与家属被流放至五原安阳县，不得因赦令而免罪。灵帝因蔡邕才高望重，正好次年大赦，赦免蔡邕，准许返回原籍。蔡邕自从放逐到被赦免，历时九个月。
蔡邕正准备启程回归故里时，五原太守王智为他送行。酒行数巡，王智起舞劝蔡邕，蔡邕不理。王智是中常侍王甫的弟弟，本就很骄横，丢了面子为宾客所嘲笑，就破口骂蔡邕说：“罪犯也敢轻侮我！”蔡邕甩袖而去。王智非常恨他，于是密告蔡邕心怀怨恨，诽谤朝廷。灵帝宠幸的人也都诬陷他，