魏晋南北朝魏、晋时，三公虽名为宰相，但并不亲临政事，已成为荣誉虚衔。此后，三公与丞相交替出现。权臣篡位之前，往往罢三公，置丞相，自居丞相以揽权，及篡位之后又取消丞相，复置三公。当时尚书台（南朝梁改为尚书省）已从少府系统独立出来，尚书令、尚书仆射、领尚书事都是宰相之职。尚书台（省）的职权和地位与西汉的丞相府大致相似。在书尚台由内廷变为外廷的中央行政中枢过程中，尚书所掌的文书工作逐渐移到中书令（西汉称为中书谒者令，属少府系统，曹魏设秘书令，文帝时改为中书令）手中。中书令的地位与权力不断提高，中书机构也在魏时发展为中书省。西晋时，“出纳王命，敕奏万机”之权又由尚书台(省)逐步转移到中书省，中书监、中书令也成为宰相之职。随着中书省权力的扩大，皇帝惧其侵犯自己的专制大权，遂采取侍中（秦汉时属少府，皇帝的侍从）参与大政的办法，以钳制中书省。东晋时，侍中机构发展为门下省，以侍中为长官，黄门侍郎为副。门下省主要审议中书起草的诏令，中书的权力又为门下所牵制。至此，三省制正式形成。南朝时，侍中不兼他职，就是宰相，反之则受命临时处理宰相事务。北朝时尤重门下省，呼为“小宰相”。三省制的形成使宰相之职分属于尚书、中书、门下三省长官，三者互相牵制，基本上由中书取旨，门下驳议，尚书执行。三者权力轻重，各朝不完全一致。
隋唐隋至唐初,仍以三省长官为宰相，后不断变易，名称繁多，不过中书、门下、尚书三省仍为常制。因唐太宗即位之前曾任过尚书令，其后不再设置此职。尚书省以左、右仆射为长官。中唐以后，左、右仆射如不加“同中书门下三品”、“同中书门下平章事”之类的名号就不是宰相。侍中官位高，通常作为大臣的加衔。侍中如不带“同平章事”名号，也不是宰相。除三省长官为宰相外，常以其他较低官员加以“参议朝政”、“参议得失”、“参知政事”等名号而兼任宰相。高宗以后，逐渐趋于简化，以“同中书门下平章事”或“同中书门下三品”（后改为二品）为比较稳定的名号。唐代的宰相机构，初在尚书省，后改为中书门下，其后又设“政事堂”，使宰相集体议决军国大政。中唐后，宰相制度遭到很大破坏，主要表现在：①使相制的实行，即镇守一方的节度使由于权重而往往被加以“同三品”或“同平章事”等宰相衔。②馆职侵夺相权，即以翰林学士加“知制诰”衔，起草机密诏令，有“内相”之称。③代宗时，又设置由宦官充任的“内枢密使”，专门职掌机密章奏，传宣诏旨，并进而参与军国大政，虽不是正式宰相，但权力极大。
宋元五代至宋神宗以前，虽仍设三省长官，但皆非宰相之职，在三省之外，另设中书内省于禁中，作为宰相的办事机构，谓“政事堂”,又称“中书门下”。以“同中书门下平章事”为宰相，“参知政事”为副相。宋神宗元年改制后，恢复三省制，以尚书左、右仆射为宰相，分兼门下、中书侍郎之职。至孝宗时，改左、右仆射为左、右丞相，统领中书省，尚书省只领六部，奉命执行政务而已，废门下省。至此，三省制名实俱亡。宋沿五代，设枢密院为最高军事机关，其长官枢密使、副使与参知政事均称执政官，与宰相同为宰职。仍以翰林学士掌管起草诏令，称为“内制”；宰相所属中书舍人或知制诰掌管正式诰敕，称为“外制”，合称“两制”。
元代以中书省总理政务，统辖六部，以中书令，左右丞相、平章事为宰相。
明清明初承元制。随着皇权专制的发展，洪武十三年（1380），罢中书省，废丞相，六部直接由皇帝统辖，传统的宰相制度从此废除。
