房玄龄当时对李世民讲："府僚去者虽多，不足惜也。杜如晦聪明识达，王佐之才。大王您如果想经营天下，非此人不可！"李世民大惊，忙把已经调离的杜如晦追回。
在平定薛仁果、刘武周、王世充、窦建德的战争过程中，杜如晦作为李世民高参，对军旅戎事剖断如流，深为时人敬服。
李建成对杜如晦非常忌讳，他对齐王李元吉说："秦王府中可惮之人，惟杜如晦与房玄龄耳。"随即就藉机向高祖李渊讲房、杜两个人的过失，把他们调离李世民的秦王府。
杜如晦虽然被外调，暗中不时潜回李世民处替他出主意。"玄武门之变"成功后，他的功劳与房玄龄相等，不久就被太宗拜为兵部尚书，进封蔡国公。
贞观初年，他与房玄龄共掌朝政，制定典章，品选官吏，好评如cháo。贞观四年，杜如晦病重，李世民亲自去他家中探望，抚之流泪，在他咽气前超升其子杜构为尚舍奉御。即使皇帝如此贵重其人，杜如晦仍旧抗不过疾病之侵，死时年仅四十六。
太宗哭之甚恸，赠司空，徒封莱国公，谥曰成，并手诏为制碑文。后来，有一次唐太宗吃块美味的香瓜，不知何因忽然忆起杜如晦，怆然泪下，遣人以所食之半奠于这位文臣的灵牌前，并不时送御馔祭奠。在杜如晦的每年忌日，太宗都派人到他家里慰问其夫人儿子，还一直保持其公府的官吏僚佐职位。"终始恩遇，未之有焉。"杜如晦二儿子是尚城阳公主的驸马爷，后来因牵涉进太子李承干谋反案中被斩。袭爵的长子杜构本来官为慈州刺史，因弟弟一案也坐贬岭南，死于边野。不知晚年的李世民，是否因为三子迭叛而伤透了心神，再也顾及不到这位功臣的后人了。