霍山黃芽自明代列為貢品。六安州志載：明時六安貢茶制定于未分霍山縣之前原額茶二百袋，霍山辦茶一百七十五袋。霍山縣志載明人曹琥＂注黃芽茶疏＂中說：臣查得本府額貢茶歲不過二十斤，祖宗以來圣賢相承不聞以為不足寧府正德十年之貢（1515年）取去芽茶一千二百斤，細茶六千斤，不知實貢朝廷幾何芽茶一斤，賣銀一兩，猶恐不得。
清乾隆四十一本（6-2）《霍山縣志》貢茶產地載：六安茶六安與霍山所并產也其以六安名者當霍未建縣已有貢額從其朔也。《天啟志》謂以六安寨得名以似鑿（寨本名六萬，訛稱六安）。顧霍邑山多繞確六地既廣且饒（產茶實浮于霍而貢額州不縣之什二）產茶之地惟東山最早，而東山皆屬州境，每年大府薦新及本縣貢品，率皆州民于雨前，赴縣售賣；霍產悉出西南，遲在雨后，幫不及入貢，則茶之專名六安，亦紀實也。今為詳著其地此霍被六大較可睹矣。東山貢茶歲居其八九（東山25處屬縣境的有磨子潭、與兒街、但家廟、單龍寺、東西溪等21處）。又據《霍山縣志》載：“光緒年間，以南鄉霧迷尖（即烏米尖），掛龍尖二山所產為一邑最采制既精，價亦倍于各鄉。”
霍山黃芽曾一度失傳。1971年以來開始挖掘、研制，恢復生產。1972年4月27日至4月30日，縣茶辦室選派農業局茶廠、壩上茶站三位茶葉技干，在烏米尖同三位七、八十歲高齡的茶農共同炒制黃芽茶，共計14斤茶樣，當即用白鐵桶封裝六斤上報國務院進行鑒評。翌年縣土產公司又布點三處，正式生產黃芽，金字山為重點，數年來，由審評室老茶師負責技術輔導。其余兩處為烏米尖和金竹坪。此后，經過大化坪區農技站、茶站的技術人員反復切搓，試驗改進，黃芽茶采制技術有所提高，品質規格趨于固定。黃芽茶收購量1973年178公斤，1980年644公斤，1985年多渠道收購量猛增至3700公斤，每斤茶價8．50元。