建兴五年（公元227年），诸葛亮率军北上驻扎在汉中，蒋琬与长史张裔统管丞相留守府的公务。
建兴八年（公元230年），蒋琬取代张裔担任长史，加授抚军将军。
诸葛亮多次兴兵北伐曹魏，在此期间蒋琬一直负责后勤事务，给前方部队筹备粮食和兵员。
诸葛亮每次都称赞蒋琬，志向忠诚，是值得托付大事的人。
不久，诸葛亮又秘密上表后主刘禅，如果自己发生不幸，朝政大事可交付给蒋琬接替。
建兴十二年（公元234年）八月，诸葛亮病逝，蒋琬升任尚书令。
不久，后主刘禅有擢升蒋琬代理中都护，假节，兼任益州刺史。
次年，蒋琬又升任大将军，录尚书事，封为安阳亭侯。
蒋琬接替已故丞相诸葛亮主持蜀国朝政，当时因为丞相诸葛亮刚去世不久，蜀国上下都面临危险的局势，众人无不感动恐惧。
蒋琬受到提拔重用，地位在群臣之上，但他既不感到忧伤，也不觉得喜悦，神态举止完全和平时一样。
因此，众人就逐渐对他感到佩服和认可。
延熙元年（公元238年），蒋琬率大军北上防备曹魏入侵，驻扎在汉中。
次年三月，后主刘禅擢升蒋琬为大司马，并下诏给蒋琬，命他开府治事。
大司马府的东曹掾杨戏，生性高傲而不讲礼节；
蒋琬平常和他谈论事情，他经常故意不回答。
有人因此想陷害杨戏，对蒋琬说杨戏怠慢于上级，应该治罪。
蒋琬却为杨戏说话，认为每个人想法都不一样，杨戏不回答自己的话，是因为他有不同的看法，
既不愿违背本心表示赞同，又不便公开反驳表示反对，才会默然无语，这正是杨戏的爽快之处。
担任督农的杨敏曾诋毁蒋琬，说他做事糊涂，不及前任主政的诸葛亮。
有人把这话告诉了蒋琬，督察百官的官员请求对杨敏追究治罪。
蒋琬却认为自己的确不如前任主政大臣诸葛亮，没有什么好追究的。
督察百官的官员一再要求，要追查杨敏诋毁蒋琬做事糊涂的言论。
蒋琬还是表示，不必追究。后来杨敏因违反法度被关进监狱，众人都担心他必死无疑；
然而蒋琬处理这件事时却毫无偏见，杨敏得以免判重刑，蒋琬为政时从不因个人好恶偏离正道。
蒋琬认为，过去诸葛亮多次进攻秦川之地，因为道路险陡、运输艰难，始终未能成功；不如顺汉水东下进攻曹魏。
于是下令大量制造舟船，想乘船经由汉水、沔水走水路袭击魏国的魏兴、上庸二郡。
然而，碰巧蒋琬旧病接连发作，他的谋划没有得到实施。
而群臣认为，如果走水路东征曹魏，如果不能成功，想要回军返回就非常困难，不是良策。