建国前，中国人民解放军曾两次拟议实行军衔制度，一次是抗战初期的第二次国共合作时期，一次是抗战胜利后国共两党重庆谈判之后。两次拟订的军衔等级都与当时国民党军队的军衔制度相同，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。
建国后，为加强军队的正规化、现代化建设，实行军衔制的问题很快被重新提上议事日程。１９５０年９月总干部部管理部成立时，就设置了“军衔奖励处”。１９５２年冬便着手研究军衔制的问题。１９５２年１１月２６日，总干部部在向毛泽东主席并军委的报告中，对实行军衔制度准备工作等问题拟制了初步计划。１９５５年中国人民解放军正式实行军衔制度。
１９５５年１月２３日，中央军委发布“关于评定军衔工作的指示”。１９５５年２月８日，第一届全国人大常委会第六次会议通过《中国人民解放军军官服役条例》，规定了解放军采用国际通用的军衔体制。这次军衔等级设置是在中国传统军衔等级体系的基础上，参照了苏联、朝鲜等国的军衔制而设定的。
１９５５年９月２７日，中国人民解放军首次授衔授勋典礼在北京中南海怀仁堂隆重举行。中华人民共和国主席毛泽东将“授予中华人民共和国元帅军衔的命令状”授予朱德、彭德怀等１０人。同日，国务院举行授予将官军衔的典礼。周恩来总理授予粟裕、徐海东等１０人中国人民解放军大将军衔。各大军区也先后举行了授衔典礼。１０月１日开始，全军正式实行军衔制。
军官军衔设４等１４级，即中华人民共和国大元帅、中华人民共和国元帅（大元帅实际未授予）；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。
１９６５年５月２２日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，１９６５年６月１日开始实施。
１９８０年３月１２日，中央军委主席邓小平提出，要搞军衔制。１９８４年５月３１日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。１９８５年６月，中央军委召开扩大会议，果断地提出割断１９６５年以前的军衔体制，“实行新的军衔制”。１９８８年４月１３日，《中国人民解放军军官军衔条例（草案）》提交七届全国人大常委会一次会议审议，１９８８年７月１日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》，予以公布施行。士兵军衔制度同时立法。
新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设３等１１级，将官：一级上将、上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。
士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。
１９９４年５月１２日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设３等１０级，将官：上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。
陆军军衔——将官 校官 尉官 文职干部 学员 士兵
海军军衔——将官 校官 尉官 文职干部 学员 士兵
空军军衔——将官 校官 尉官 文职干部 学员 士兵
１９９５年９月１０日，八届全国人大常委会通过《中华人民共和国预备役军官法》规定，预备役军官军衔设三等八级：少将；大校、上校、中校、少校；上尉、中尉、少尉。
１９９８年１２月公布的《中华人民共和国兵役法》规定，义务兵服役时间为２年，并且不再超期服役。根据兵役法，自１９９９年后，士兵军衔等级和专业军士、军士长的称谓自行取消。
１９５５年９月２７日，第一届全国人大常委会第二十二次会议通过了授予中华人民共和国元帅军衔的决议。
１９５５年９月２７日，中国人民解放军首次授衔授勋典礼在北京中南海怀仁堂隆重举行。中华人民共和国主席毛泽东将“授予中华人民共和国元帅军衔的命令状”授予朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英等１０人。同日，国务院举行授予将官军衔的典礼。国务院总理周恩来发布命令， 授予粟裕、黄克诚、谭政、肖劲光、王树声、陈赓、罗瑞卿、许光达、徐海东、张云逸１０人中国人民解放军大将军衔，授予５５人上将军衔，授予１７５人中将军衔，授予８０１人少将军衔。各大军区也先后举行了授衔典礼。
１９５６年、１９５８年又分别授予王建安、李聚奎上将军衔。１９５６年至１９６５年，共授予将官以上军衔１６１４人。
１９６５年军衔制度被取消。
１９８８年恢复军衔制后，中央军委先后于１９８８年９月１４日、１９９３年６月７日、１９９４年６月８日、１９９６年１月２３日、１９９８年３月２７日、１９９９年９月２９日、２０００年６月２１日、２００２年６月２日、２００４年６月２０日、２００４年９月２５日、２００６年６月２４日、２００７年７月６日和２００７年１１月２日共１３次举行仪式，授予高级军官警官上将军衔警衔。截至２００７年１１月２日，人民解放军自１９８８年恢复军衔制以来，中央军委共授予１１２名高级军官警官上将军衔警衔。>>
至２００７年１１月２日，１９５５年我国首次实行军衔制和１９８８年人民解放军恢复军衔制以来，我军共有１６８位高级军官警官被授予上将军衔警衔。>>
１９９６年４月至年底，中央军委授予数万名预备役军官军衔。这是首批预备役军官被授予军衔。
