慧远卜居庐山之时，佛教在江南已经有很大势力。可是佛教界风气不正，佛法衰颓。尤其是一些上层僧侣，附炎趋势，迎合时流，外言弘道，内图私利，竞相奔走于权贵之门。有些甚至与最高封建统治者交通，窃弄大权，倾动乱时。慧远目睹这种状况，非常忧愤。在《与桓太尉论料简沙门书》中，他尖锐地指出：“佛教陵迟，秽杂日久，每一寻思，愤慨盈怀。”在潜居庐山以后，他一面不入都邑，不仕王侯，身体力行，维护佛法，以自己高尚淳朴的德行为僧伽争荣誉，树楷模，一面积极提倡翻译佛经，宣扬佛教戒律，并努力用佛学来融合儒学和玄学，为佛教在中国广泛传播，取得应有地位作出了重大贡献。

 　　慧远在庐山居住三十多年，始终影不出山，迹不入谷，每送客散步，也只以庐山虎溪为界，他孜孜为道，务在弘法，是从事佛教活动最重要的时期。到庐山后，他看到当时南方佛经很不齐备，禅法无闻，律藏残缺，就派遣弟子法净、法领等人远度葱岭，寻求佛经。这些弟子跋山涉水，历尽艰辛，从西域带回《方等》新经二百余部，得以传译。慧远在庐山一直千方百计同各地名僧互通消息。晋孝武帝太元十六年（391年），罽宾（在今印度西北部）佛教小乘毗昙学大师僧伽提婆南下庐山，慧远便请他译出了《阿毗昙心》和《三法度论》。阿毗昙略称毗昙，系小乘佛教一切有部的典籍，其教义主要是以我为无，以法为有（法，本指佛教教说、规范等，这里指包括物质的、精神的一切事物和现象）。毗昙学约在东晋时始行中国。释道安曾大力赞助译出有关论典。慧远继承师业，兼弘一切有部《毗昙》。当时和他同住庐山的著名佛教学者竺道生等人也精于提婆的毗昙学。毗昙学风靡一时，是同慧远组织译经和大力提倡分不开的。

 　　后秦弘始三年（401 年），著名佛教翻译家鸠摩罗什（父籍天竺，生于龟兹，即今新疆库车一带）入居长安后，慧远便向他致书通好，交流佛教译本，并派遣弟子前往听讲问道。后来听说罗什要回本国，他马上作书，略问佛经中数十条事，请为批释。罗什一一作答，现存十八章，即所谓大乘大义章。慧远对于佛教戒律也很重视。弗若多罗曾在关中翻译《十诵律》，未竟而逝。后来慧远得知昙摩流支来中国带来了这部佛典，就派遣弟子昙邕致书祈请，译出了全本《十诵律》。《高僧传·释慧远传》评价说：“葱外妙典，关中胜说，所以来集兹土（指江南）者，远之力也。”