到方以智是另有所指，方以智是安庆府桐城县凤仪里人，是桐城地区这一时期主要的世族子弟。曾祖父方学渐，精通医学、理学，并且能学习诸子百家，融会贯通，自成体系，除记录赴东林讲学的《东游记》外，著有《易蠡》、《性善绎》、《桐夷》、《迩训》、《桐川语》等。祖父方大镇在万历年间，曾任大理寺左少卿，著有《易意》、《诗意》、《礼说》、《永思录》、《幽忠录》等数百卷。因方学
学于泰州学派的耿定理，《明儒学案》把他列入《。外祖父吴应宾，精通释儒，著有《学易全集》、《学庸释论》、《宗一圣论》、《三一斋稿》等。父亲方孔，万历四十四年进士，崇祯朝官至湖广巡抚，通医学、地理、军事，并且较早地接触西学，主张研习经世致用的知识，著有《周易时论》、《全边略记》、《尚书世论》等有《全边略记》等著作。
《周易时论》被《四库提要》列入存目。
方以智自幼秉承家学，从小由母亲和姑姑一起抚养长大。
成年后，方以智载书泛游江淮吴越间，遍访藏书大家，博览群书，四处交游，结识学友。在他的学友中有西洋传教士毕方济与汤若望，并阅西洋之书，从他们那里，方以智学习了解了西方近代自然科学，他认为：“今天下脊脊多事，海内之人不可不识，四方之势不可不识，山川谣俗，纷乱变故，亦不可不详也。”他曾作诗曰：“繁霜如雪孤南征，莫道能无故国情。斥抱揄方始大笑，牵牛负总虚名。凌云久动江湖气，杖剑时成风雨声。海内只今信寥落，龙眠山下有狂生。”表达了自己非凡地政治抱负。为谏议皇帝选贤用能，革除弊端，实行某些改革，曾写了《拟求贤诏》、《拟上求治疏》、《拟上求读书见人疏》等，决心以襄扶明朝中兴为己任。他曾在《书鹿十一传后》中表示要“东海之泽、洗天下之垢”。曾与陈贞慧、吴应箕、侯方域等主盟复社，裁量人物，讽议朝局，人称“四公子”，以文章誉望动天下。
方以智的父亲方孔任湖广巡抚时被杨嗣昌弹劾下狱，方以智怀血疏讼冤，方孔这才得。一时传为佳话。
崇祯十三年，三十岁的方以智中进士，选为庶吉士，有人向崇祯皇帝推荐方以智，崇祯召对德政殿，方以智“语中机要，上抚几称善”。后在京任工部观政、翰林院检讨、皇子定王和永王的讲官。
四年之后，李自成农民军攻入北京，崇祯皇帝自缢，方以智在崇祯灵前痛哭，被农民军俘获，农民军对他严刑拷打，但他始终不肯投降。不久，李自成兵败山海关，方以