1912年3月，蔡元培加入民国政府唐绍仪内阁，出长教育部。他与教育部次长范源濂既是搭档，也是朋友。关于教育，两人的观点可谓相反相成。范源濂认为：小学没办好，怎么能有好中学?中学没办好，怎么能有好大学?所以当前教育的重中之重是先整顿小学。蔡元培则认为：没有好大学，中学师资从哪里来?没有好中学，小学师资从哪里来?所以当前教育的重中之重是要整顿大学。几番辩难之后，两人协调了意见：从小学、中学到大学，教育部都须费大力气下大工夫去整顿。

　　1916年12月，北洋政府教育部任命蔡元培为北大校长。蔡元培刚从海外归来，风尘仆仆，到上海后，许多朋友都劝他不要率尔衔命：北大腐败透顶，烂到流脓，他若就职，恐怕整顿不力，清誉反受其累。但也有几位朋友鼓励蔡元培放手一搏，用手术刀割治这个艳若桃李的烂疮，给中国教育开创前所未有的新局，纵然败北，尽心也可无憾。蔡元培是具有强烈使命感的人，他选择了锐意进取，而不是临阵脱逃。1917年1月4日，他到北大视事，着手收拾这个令人掩鼻的烂摊子。

　　北大的前身是京师大学堂，与其称之为大学，还不如称之为官僚养成所。活动能力强的学生，上乘的做法是猎官，组织同乡会等借以接近学校当局，毕业后即稳得升官的阶梯;下乘的做法是钻营，用嫖娼、赌钱、捧名角来结交社会上的实力人物，以之为借重的资本。乌烟瘴气和歪风邪气很盛，唯独研究学问的风气荡然无存。

　　蔡元培迅即发出呼吁：“大学生当以研究学术为天职，不当以大学为升官发财之阶梯。”他说：“自今以后，须负极重大之责任，使大学为全国文化之中心，立千百年之大计。”为矫正学风，蔡元培从消极和积极两方面入手：发起组织进德会，发表《进德会旨趣书》，会员必须恪守不嫖、不赌、不纳妾的基本戒条(另有“不做官吏、不做议员、不饮酒、不食肉、不吸烟”五条选认戒);设立评议会，实行教授治校;组织各类学会、研究会，如新闻学会、戏剧讨论会、书法研究会、画法研究会等，使学生养成研究的兴趣;助成消费公社、学生银行、平民学校、平民讲演团与《新潮》等杂志。

　　在蔡元培的心目中，“所谓大学者，非仅为多数学生按时授课，造成一毕业生之资格而已也，实以是为共同研究学术之机关”，因此大学理应是“囊括大典，网罗众家”的学府，遵循“万物并育而不相害，道并行而不相悖”的自然法则。他打过一个极具说服力的譬喻：人的器官有左右，呼吸有出入，骨肉有刚柔，它们相反而相成。蔡元培决意改造北大，并非打碎另做，推倒重来，凡饱学鸿儒皆得以保留教职，更在国内延聘名师，不问派别，不问师从，但求其术有专攻，学有专长。至于不合格的教员，他坚决黜退，不管对方是什么来头，有什么靠山。一名法国教员被黜退后，曾四处扬言要控告蔡元培。一位被黜退的英国教员更加神通广大，居然搬出英国驻华公使朱尔典这尊洋菩萨来谈判，蔡元培不肯妥协。事后，朱尔典怒气冲冲地叫嚣：“蔡元培是不要再做校长的了!”

　　学术乃天下之公器，百虑一致，殊途同归，蔡元培不持门户之见，唯致力将北大改造成为中国的学术渊薮。蔡元培的改革理念和举措，最令人称道的便是“学术自由”和“兼容并包”。以党见和政见论，王宠惠信奉三民主义，李大钊、陈独秀信奉共产主义，李石曾信奉无政府主义，辜鸿铭憧憬君主立宪;以文学派别论，胡适、钱玄同、吴虞等人倡导新文学，刘师培、黄侃等人坚持旧文学。特别是“性博士”张竞生，被封建卫道士辱骂为“四大文妖”之一。他在北大讲“美的人生观”，在校外出版《性史》，竭力提倡“情人制”、“外婚制”和“新女性中心论”。在半封闭半蒙昧的中国，张竞生的言论绝对算得上耸人听闻，惊世骇俗，也只有在蔡元培的保护伞下，他才不会被大众的唾沫淹死。

　　当年，可以这么说：中国有多少党派，北大师生中就有多少党派;有多少学派，北大师生中就有多少学派。办大学，兼容并包其实是非常危险的，弄得好固然可以形成“酒窖”，弄不好呢?就会形成“粪沼”。蔡元培对于中西文化择善而从，对于各类人才兼收并蓄，使之商量旧学，邃密新知，和平共存，不相妨害。他的态度绝无偏袒，他的器局皆可涵盖，处事公平，无适无莫，大家自然心服口服。

　　世事无绝对，在北大，阋墙和摩擦总还是有的，而这些响动多半与辜鸿铭和章太炎的大弟子黄侃有关。辜鸿铭对胡适很不买账，认为胡适治哲学史，既不懂德文，又不懂拉丁文，简直是画虎成猫，误人子弟。黄侃也瞧不起洋味十足的胡适，但他对章氏旧同门诋诃更多，骂他们曲学阿世。于是众人暗地里戏称蔡元培为“世”，往校长室去竟谑之为“阿世去”。黄侃上课，骂师弟钱玄同有辱师门，骂得相当刺耳，两人教室毗邻，字字句句都听得清清楚楚，学生不免偷笑，而钱玄同若无其事。

　　陈独秀在《蔡孑民先生逝世后感言》中称赞道：“这样容纳异己的雅量，尊重学术自由思想的卓见，在习于专制、好同恶异的东方人中实所罕有。”陈独秀尤其应该感谢蔡元培对他的爱护和包容。这位为科学与民主鼓与呼的急先锋，圭角毕露，锋芒侵人。他放浪形骸，不检细行，不拘琐德，往往予敌对者以攻讦的口实。陈独秀去八大胡同消遣，甚至遭到过妓女的控告，被警局传讯，经小报大肆渲染而成为轰动社会的丑闻。尽管陈独秀运笔如枪，但若没有蔡元培为他屡次三番解围，攻击者驱逐他出北大的愿望岂会落空?蔡元培是北大进德会的模范会员，“不嫖，不赌，不纳妾”这三条，他绝对遵守，但他并不以道德完善的标尺去苛求他人，这非常不易。蔡元培爱护陈独秀，因为后者是难得的人才，其言论主张值得同意和同情。