908年正月，李克用病死，李存勖于同年同月袭晋王位。丧事办完后，他的叔叔李克宁想要造反，被他设计捕杀，同时率军击败了想要来趁火打劫的后梁军，解了潞州之围。朱温看着自己的军队死伤无数，说道：“生子当如李亚子。他袭位，李克用虽死犹生！我的儿子与他相比，简直猪狗不如！”
得胜后到太原，李存勖开始施展自己的治内才华。他先任命李存璋为河东马步都虞侯兼军城使，负责整顿军纪。李存璋立即部署，打击扰乱军纪的将士，诛杀了几个首领，几天后，晋军军纪大振，百姓们拍手称快。同时，李存勖又规定，骑兵不见敌人不准上马，违犯军令者一律斩首，从而将散漫的沙陀兵训练成一支精锐严整的劲旅。
在内政方面，李存勖命令各州县保举贤良之人充任官吏，罢黜地方的贪官污吏。同时减轻人民的租税，抚恤孤儿与老人，为民平反冤狱，并严厉打击盗贼。
在内政与军事都臻于完善时，李存勖背着他父亲留下的三支仇恨之箭开始了复仇过程。每次出征前，他都派人取来其中一支箭，放在一个精致的丝套里，带着上阵，等打了胜仗，才送回家庙。
李存勖是五代军事史，乃至中国军事史上的一个传奇。他继承了他父亲的勇猛和自己与生俱来的战争智慧，又有着冒险的性格，所以，每次战斗，他都能打得赢。他经常像个疯子一样，只身冲进敌阵，有很多次陷入重围几乎就被杀掉，幸好他的部将们拼命将他救出。但他没有一点感谢之语，反而痛骂救他的人，认为是这些人耽误了他杀敌。
在这个时候，其实就能看出，李存勖并不是一个明主，只不过在战争年代，他一心顾着杀人，没有时间发挥他昏庸的那一面罢了。
913年，李存勖灭掉燕，杀了刘仁恭、刘守光父子。922年，他驱逐了南下的契丹军队。923年，他灭掉后梁。其父亲留下的三支箭上的仇恨终于得报。同年四月，他在魏州称帝，为了缅怀唐朝，他建国号为唐。不久又迁都洛阳，建年号为“同光”，史称后唐。三年后，他又发兵灭掉了前蜀。至此，他已经统一了黄河流域，将势力扩展到长江上游。
在即位之初，李存勖能有所作为实在让人对其未来抱有希望，可惜，就在灭掉前蜀的这一年，曾经的李存勖不存在了，代之而起的是一个让历史都想哭的“李天下”。
