在作战指导方面，马歇尔几乎筹划指挥了第二次世界大战中美军在欧洲、太平洋两个战场的所有行动，成为罗斯福和杜鲁门两位总统的主要军事顾问。
开始，他把主要注意力放在太平洋战场。珍珠港事件之前两个星期，他就预告，美、日外交关系恶化，来自日本的战争威胁已经明确，但他没有对驻夏威夷陆军司令肖特中将为应付突然事变而采取的措施做进一步的研究和指示。珍珠港事件之后，他为此受到了人们的批评。事件发生后，他曾对恢复美军士气作出了很大的努力。
美国对德宣战后，在美军如何行动问题上，马歇尔一直主张横渡英吉利海峡与德国直接交战。他认为，这一行动可以迅速地在欧洲开辟第二战场，使俄国不至于被德国击败，而能继续参加战争。英国人则主张搞边缘战略，强调进攻轴心国的“软腹部”——地中海，反对与德国人正面对抗。马歇尔为使英国赞同自己的主张，首先促成美英两国首脑在华盛顿会晤，达成基本一致。此后当作战方案在英军参谋总部出现分歧时，他又飞抵伦敦，与英方进行了毫不让步的辩论，直到１９４３年１１月，英方同意为止。
第二次世界大战期间，不仅美国总统罗斯福倚重马歇尔，英国首相丘吉尔，苏联最高统帅斯大林等也都认为他是一个军事天才。在德黑兰会议上，斯大林建议任命马歇尔担任欧洲联军总司令，并两次要罗斯福作出决定；丘吉尔在与罗斯福的一次通信中，表示同意把英军交给马歇尔指挥；艾森豪威尔在担任欧洲总司令之前，也一直认为这个位置是属于马歇尔的。１９４４年，马歇尔获得相当于其他国家元帅的五星上将军衔。
第二次世界大战结束不久，马歇尔便被杜鲁门总统派往中国，担任驻华特使，参与国共谈判。１９４７—１９４９年，他出任美国国务卿。１９５０年任国防部长，同年退休，在其国防部长任内，美国发动了朝鲜战争。他曾参与制定杜鲁门主义，推行美国援助欧洲经济复兴的马歇尔计划。他还是“冷战”政策的积极执行者，是建立北大西洋公约组织的发起人之一。
