宫门之内，凡是禁门，皆用黄色，故称黄门。
《通典》：“其官给事于黄闼之内，故曰黄门。”《汉书》说：“罢黄门乘舆。”汉时黄门官参用士人及宦者，晋以后始专用士人，建为门下省。唐人张说的《玄武门侍射·序》说：“乃命紫微、黄门、九卿、六事。”紫微指中书，黄门指太监。又后汉黄门令中黄门诸官，皆宦者任之。世因称宦者为黄门。