尚书台(省)的组织由简到繁，历代均有变化。汉初已有令、仆射及丞的职别。令为主官，仆射为副，丞则为令、仆之佐职。至汉成帝时，始分曹理事，有常侍曹，主公卿(指中央行政部门)；二千石曹，主郡国二千石(指地方政府)；民曹，主吏民上书；客曹，主外国“夷狄”(指国外及国内少数族)，凡四曹。后又置三公曹，主断狱，共为五曹，每曹各有尚书一人，在令、仆射统属下分领政务。东汉设六曹尚书(或说为五曹)，尚书之下复有侍郎三十六人，分属六曹，成为三级组织。尚书令、仆射及六曹尚书合称八座(隋唐时以左右仆射及六尚书为八座)，为台中长官；尚书郎则主作文书，起草立义，上殿奏事，“八座受成，事决于郎，下笔为诏策，出言为诏命”，为台中具体办事人员。郎官之下复有令史二十一人，主抄录文书。但东汉侍郎与令史尚无严格界限，侍郎缺常以令史升补。协助令、仆理事者尚有左、右丞各一人，左丞有纠劾之权，历代均同。
魏晋以后，令、仆射及左、右丞理事之处为都台(后称都省)。下为列曹尚书，其数或五或六，各代不一，其区分办法也与东汉略有不同。如曹魏置五曹尚书：吏部，主铨官吏；左民，主民事；客曹，主外国及国内少数民族；五兵，主军政；度支，主财政。不似汉代以常侍曹主公卿，二千石曹主郡国二千石，按中央与地方区分职务。列曹尚书之下，复分曹置郎官，其数或多至三十六曹(两晋、北魏)，或少至十五曹(东晋)，其名称职掌亦代有变化，因事而设，不能尽举。丞郎之下，均有都令史、令史、主事、省事等吏职。而郎官、令史之区别更严，自郎官以上，多属士族；主事、令史，则多出寒人。虽间或有初仕令史而官至令、仆射(如北齐之赵彦深)，然出身令史为人所贱视，则是普遍情况。
尚书省之组织，至隋而定型，尚书皆以部为名，而郎官以司为名。有吏部、礼部、兵部、刑部、民部、工部等六部及吏部、主爵等二十四司。司有侍郎一至二人，员外郎一人。炀帝时，又于每部增置侍郎一人以为尚书之副，原诸司侍郎则改称为郎(唐代则称为郎中)。尚书都省增设左右司郎(唐代改为郎中)各一人，作为左、右丞之佐。唐朝沿袭隋制，但名称屡有变更。龙朔二年(662)改尚书省名为中台，左右仆射为左右匡政，咸亨(670～674)初复旧；光宅元年(684)又改名为文昌台，左右仆射为文昌左右相；垂拱元年(685)又改省名为都台，万岁通天(696～697)初复旧；长安三年(703)又改为中台，神龙(705～707)初复为尚书省。开元元年(713)又改左右仆射为左右丞相，天宝元年(742)复旧。其下六部名称也有改复。