蒋介石为消灭共产党，1927年4月2日在东路军指挥部召开反共会议，研究反共方案。何在会上极力支持主张消灭共产党。4月9日，何在南京直接调兵解除了林祖涵（林伯渠）所率的第6军3个主力团武装，包围江苏省党部和省总工会，逮捕了部分革命者。次日何又令军警强行解散南京共产党支部，逮捕全体共产党干部。4月12日，何的东路军26军在上海对工人纠察队进行突袭，大规模杀害了共产党员，这就是震动全国的“四一二”惨案。这年5月，继续北伐，由蒋和李宗仁、何应钦分任各路部队指挥官。何于5月19日北渡长江，遭到张宗昌、孙传芳直鲁联军反攻，何、李遵蒋之命，退到长江沿线。

武汉国民政府主席汪精卫于7月15日通电反共反蒋。以李宗仁、白崇禧为首的桂系、冯玉祥为首的西北军和阎锡山为首的晋系与蒋有矛盾，公开逼蒋下野。何应钦此时判断失误，以为蒋树敌太多，已四面楚歌，必败无疑。于是暗中支持桂系逼宫。这样，蒋只好下野。当白崇禧在会上要蒋离职时，蒋回顾何，而何一声不吭，蒋伤心异常，拂袖而走。蒋事后说：“当时只要他何应钦一句话，我是可以不走的”。这是蒋、何的第一次矛盾。

蒋下野后，由何、李、白组成军事常务委员会，对国民革命军实行集体领导。何、李击退孙传芳、唐生智等对南京的进攻。1927年11月10日，蒋由日本回上海。12月10日，国民党第二届四中全会预会通过决议，敦请蒋复职。蒋复职后，于1928年2月，不与何应钦打招呼，乘何去南京，蒋直接去何的第一路军徐州总指挥部，撤消了何的本兼各职，将军队编为4个集团军，蒋自任总司令。

何应钦对蒋介石是有功的。蒋离不开何，何更离不开蒋。当何在白崇禧迫蒋下野时态度暧昧，蒋复职后一怒之下撤了何的一切职务，后又经别人圆场，蒋才又委何为北伐军总司令部参谋长。何肚里有气，托病于杭州附近莫干山。蒋亲自跑去对何说：“我离了你，没有问题，照样干下去；你若离开我，就无办法。”何权衡利弊，只好随蒋到南京就职。

这年6月，北京政府被推翻。为了收编北洋军队，蒋于10 月任命何为训练总监，下月又被调为裁军委员会主持工作。在国民党三次全国代表会议上被选为中央执行委员会委员，中央政治局委员会委员，旋被任命为陆海空军总司令部参谋长，后又出任开封、郑州、武汉行营主任。何被蒋踢了一脚，此时又受到蒋的宠信，因此对蒋更加感激涕零，决心“将功补过”。他主持军队工作时，利用编遣、整军之法，忠心地为蒋兼并异己，扩充嫡系，南征北伐，马不停蹄。1929年，其父何明伦去世，此时正逢蒋冯阎中原大战，何一直在前线督军，无暇回兴义奔丧，蒋深为感动，亲往设在南京的何父灵堂祭吊，并亲笔写了赞辞，使何深受感动。1930年3月10日，何当上了蒋的军政部长。6月，李宗仁攻长江，何坐镇武汉指挥，将李击退；朱德、彭德怀乘蒋桂战争之机率部攻长沙，也遭到何部镇压。

何在军政部长任上一干十多年，对国民党的军制兵制、军需后勤、国防设施等建设有所筹划，并实行了征兵制度，军需独立等一些措施，为国民党军队的建设立下了汗马功劳。因其在官场中较少舞弊，不敢培植私人势力，蒋因此对何很有好感，在国民党中博得“恭谨廉洁”的名声。

1931年2月，何应钦任南昌行营主任，指挥部队对湘赣地区共产党人和人民武装进行第二次围剿。但红军在15天里连打5个胜仗，打垮了他的15个师。当时蒋刚当上“国民政府”主席，心绪颇佳，不仅未责备何，反而任其为前线总指挥，兼国民党空军司令，蒋亲自出马任第三次围剿红军总指挥，但最后仍惨遭失败。

这年秋，日本在东北制造“9.18”事变，侵占东三省，民族矛盾上升为主要矛盾。国民党坚持其对外屈辱、对内惨杀政策，于1932年春任命何为湘赣粤闽边区“剿共”总司令。但因日军进逼华北，蒋认为何与日本关系素来较好，能调和日本人口味，于是命何去职北上，出任中央政治会议特别事务委员会委员。1933年1月，日军占领热河，突破长城防线。何等表面上协助张学良阻止日军进攻，实质上是欲取而代之。3月12日，张学良辞职，何应钦继任北平军分会代理委员长，秉承南京政府“一面抗日一面交涉”的“国策”，和蒋“有言抗日者杀无赦”的密令，所以，虽然集中了几十万军队，却被一二万日军击败，退到北平附近。5月31日，与日本关东军副参谋长冈村宁次签订了屈辱的《塘沽停战协定》。

日军占领大片领土后，国民党中冯玉祥、吉鸿昌，方振武等在共产党的倡导和支持下，响应民众呼吁在察哈尔成立了抗日同盟军，收复了部分失地，但何却调动约15万兵力，配合日军对冯等施加压力，从内部进行分化瓦解，限令解散抗日同盟军。8月5日，冯玉祥宣布下野，冯军解散，对于仍坚持抗战的吉、方部队，何又令部队在日本飞机支援下进攻。吉、方寡不敌众，二人以失去自由为条件，换取全体官兵的安全和对伤病号的医治而息事。次年冬，何组织军事法庭，对民族英雄吉鸿昌进行审判后杀害。

1933年11月，冈村宁次向何等提出备忘录，要求“改善”华北局势。经多次谈判，恢复了华北与伪满洲国邮电通讯和铁路交通；1935年，日本为达到侵占华北目的，先后制造了“河北事件”和“华北5省自治”阴谋计划。6月10日，何同意日军华北驻军司令梅津美治郎的无理要求，将于学忠部队调离华北，撤销北平军分会党务政训机构，解散抗日团体，禁止全国反日活动；7月6日，何又与梅签订了一个实现上述内容的文件，即臭名昭著的《何梅协定》。

此后，何在北平已无事可作，遂回南京行使军政部长之权。1936年6月，“两广事件”发生，粤桂军阀以抗日为由逼蒋下台，由于何应钦等施加压力，事件平息。9月，何以军政部长身份兼广州行营主任。

1936年12月12日凌晨，张学良、杨虎城拘捕了正在西安督师的蒋介石，发动了震惊世界的“西安事变”。当时，何等主张打，孔祥熙、宋美龄等主张和，冯玉祥、李烈钧等国民党元老出于国家民族安危，支持主和派政治解决，一连几个昼夜争吵不休。宋美龄害怕蒋介石被张学良、杨虎城杀掉，一再央求何答应张、杨部分要求和平解决。可是何态度坚决，失声骂道：“你一个妇道人家懂得什么？只知道救丈夫！国家的事，你不要管！”宋美龄还从没见谁这样对她说话的，当下就哭闹起来：“你这样做，太辜负蒋先生了！”边哭边低声骂道：“以后我要你这个姓何的瞧瞧，到底是女人家懂得什么，还是你这个臭男人懂得什么！”12月14日，端纳带着宋美龄、孔祥熙的秘密使命飞抵西安，会见了蒋介石，并向蒋递交了宋美龄的亲笔信。宋美龄在信中意味深长地写了一句“南京城内戏中有戏”，建议蒋下令何应钦停战。在何等的挟持下，国民党通过了“讨伐”张、杨的决定，授何负责军事，代行蒋介石的总司令职务，何一方面与日本驻华使馆及桂系、四川联系，促汪精卫回国主持大计，对人事作出内定，一方面出任讨伐总司令，调动两个集团军向西安推进，令空军轰炸张、杨部队。

18日上午，蒋鼎文由西安飞抵南京，向何应钦出示了蒋介石停战手谕。何应钦这才罢手。

“西安事变”在中国共产党的努力下，得以和平解决，形成第二次国共合作。26日中午，蒋介石飞返南京，何应钦率员到机场欢迎，蒋介石对他特别表示亲切。次日，南京举行了20万人参加的“庆祝蒋委员长返京大会”，蒋介石又让何应钦代表自己在大会上致答谢词，这应该说是蒋给予何应钦的殊荣。事后，蒋介石在各种场合都说到，西安事变之所以能够和平解决，张学良之所以礼送他回南京，都是因为何应钦的讨伐和施加军事压力的结果。这也就是说，何应钦的讨伐给了蒋介石的面子和一个很好下的台阶。在蒋回南京后，何仍留任军政部长一职。

1937年“7.7”事变发生时，何在四川主持整军会议，即被蒋召回南京，商讨抗日大计，并出任第四战区司令长官。在讨论南京战役计划时，何等多数将领主张用20个团左右兵力，以歼日军有生力量。但蒋未采纳，结果大败，造成了惨绝人寰的南京大屠杀惨案。1938年1月，何任军事委员会参谋长，负责战时军制计划和参与各个战役的指挥，对抗日战争作了一些努力。

1940年10月到1941年年初，何应钦、白崇禧秉承蒋介石旨意，制造了震惊中外的“皖南事变”，取销新四军番号，审判叶挺、通缉项英等一系列反共事件。周恩来怒斥何“是中华民族的罪人！”