早在2400多年前,吴国为北伐齐国争霸中原,在江苏扬州附近开凿了一条引长江水入淮的运河（称邗沟）,以后在这基础上不断向北向南发展、延长尤其经隋朝和元朝二次大规模的扩展和整治,基本上完成了今日京杭运河的规模.京杭运河的许多河段是利用原来的天然河流和湖泊,部分河段是人工开挖的,运河水流主要从沟通的天然河道中得到补给.
到了隋炀帝的时候,开始进行大规模的修建大运河.隋炀帝修建大运河的工程分4段进行.
公元605年4月14日（隋大业元年三月二十一日）隋炀帝“命尚书右丞皇甫议发河南、淮北诸郡民,前后百余万,开通济渠”.通济渠起于洛阳城,西引榖（即涧水）、洛水入黄河；又从极清（今河南荥阳县把水镇东北周黄河水向东到洋州（今河南开封）,再顺汴水经商丘,折向东南,接通蕲水,经皖北至淮阴入淮水.第一段工程沟通了洛水、黄河和淮河.
同年,隋炀帝又征发淮南民十几万开邢沟.
608年2月,再次下“诏发河北诸军百余万穿永济渠,引沁水南达于河,北通深郡”.
611年元月,隋炀帝“敕穿江南河油京日至余杭,800余里”.这段工程的告竣,全长4000多里的大运河贯通,成为中国南北交通的大动脉.
为了控制全国，并使江南的物资能较方便地运到北方来，同时自己又能轻松地到各地游玩，隋炀帝修通了五千余里的大运河。
