之后的时间里，李杰便在白沙村住下了，除了岁考回去了一趟，因为想要参加乡试，必须要在各省提学官举行的岁考中，成绩名列前两等者，才能参加乡试。剩下的其余时间李杰均在春阳台或制艺或习武，不论是在制艺一道，还是在武学一道都是受益良多。
白沙先生会试虽然屡试不中，不过这个可不是他的制艺水平不行，主要还是当朝程朱理学根深蒂固，陈献章对外表现出来的思想俨然不是这个路子，他的“崇自然”“贵知疑”“贵自得”的思想，不受当权者所重。
当时吏部侍郎尹旻（“纸糊三阁老、泥塑六尚书”中的吏部尚书）因为白沙先生的一句暗讽诗句，怀恨在心，其子拜师又被拒绝，便从中作梗，让陈献章的试卷沾上污渍，便被罢黜了。
在四十二岁参加完第三次会试仍不得中，之后便熄了科考的心思，隐于乡里一心治学。除了成化十八年那次，经广东左布政使彭韶和都御使朱英举荐入京候官，结果三个月后，因老母思子心切，遂匆匆而归，自后屡荐不起。
晚年间他更是一心为他人做嫁衣，传授学问于徒弟，感于其德学之高，四方慕名前来求着者日益众，“往来东西两藩部使以及藩王岛夷宣慰，无不致礼于先生之庐”，盛极一时，对于这些宾客学者，陈献章有教无类，诲人不倦。史料记载：“至于浮屠羽士、商农仆贱来谒者，先生悉倾意接之，有叩无不告”。
随着陈献章的学生屡有高中，名声更是日益高涨，被人称为“醇儒”，成化十八年那次赴京应荐，途径广州时，城内士子慕名而来，“由城南至藩台，观者数千万人，图其貌者以百数十计”。入京之后，公卿大夫日造其门数百，有人说道圣人复出。
这天李杰放学回到租住的小院，看到方仪神色欣喜异常，遂问道：“怎么，今天发生什么事情这么开心？”
看到李杰回来之后，方仪眼神一亮开心的说道：“我见到我阿哥了！”
李杰担心方仪受骗，开口说道“你之前不是说没有亲人了吗？这个哥哥是从哪里冒出来的？”
“不是，不是，之前我哥自从五年前外出之后，一直杳无音讯，我们全家都以为他已经遭遇不幸了，所以我之前说没有亲人了，谁曾想到现在还能再见到他。”说着脸上又带上欲言又止的神色。
李杰见状问道：“这是好事啊！怎么还有什么别的事情吗？”
方仪脸上神情变幻，片刻后咬了咬牙说道：“公子，你先答应我不生气，我便和你说。”