1958年6月12日第一機械工業部以（58）機技張字第188文批準成立“磨料磨具與磨削研究所籌備處”在北京開展籌備工作。1958年10月4日，部以（58）機二汪字第511號文批準所址設在鄭州砂輪廠內，并將鄭州砂輪廠的中央實驗室及設備儀器劃歸該所，將原設計配備的人員一并調入，辦公、居住用房由鄭州砂輪廠負責解決。據此，磨料磨具與磨削研究所籌備處于1958年11月5日遷鄭州；1962年2月21日，一機部以（62）二局辦字163號文批準取消籌備處，改名為“第一機械工業部磨料磨具磨削研究所。
　　
　　1971年第一機械工業部以（71）一機技字第485號文，將該所下放河南省，所名改為鄭州磨料磨具磨削研究所。1978年第一機械工業部以（78）一機技字第472號文批準該所恢復以部為主的雙重領導，所名改為第一機械工業部鄭州磨料磨具磨削研究所。盡管下放期間停撥事業經費，但由于該所人造金剛石工業規模生產成功，這段時間是該所經濟效益最好的時期，期間該所基本形成了獨立的科研生產區和生活區。
　　
　　自1980年以來，鄭州磨料磨具磨削研究所隨著國家體制改革的深入，其主管部門多次更改，先后隸屬于國家機械工業委員會、機械電子工業部、機械工業部、國家機械工業局。
　　
　　1999年4月12日，國家科學技術部等12個部委以國科發政字（1999）143號文，關于印發《關于印發國家經貿委管理的10個國家局所屬科研機構轉制方案的通知》，鄭州磨料磨具磨削研究所進入中國機械裝備集團。