霍山黃芽自明代列為貢品。六安州志載：明時六安貢茶制定于未分霍山縣之前原額茶二百袋，霍山辦茶一百七十五袋。霍山縣志載明人曹琥注黃芽茶疏中說：臣查得本府額貢茶歲不過二十斤，祖宗以來圣賢相承不聞以為不足……寧府正德十年之貢（1515年）取去芽茶一千二百斤，細茶六千斤，不知實貢朝廷幾何……芽茶一斤，賣銀一兩，猶恐不得。
清乾隆四十一本（6-2）《霍山縣志》貢茶產(chǎn)地載：六安茶六安與霍山所并產(chǎn)也其以六安名者當霍未建縣已有貢額從其朔也。《天啟志》謂以六安寨得名以似鑿（寨本名六萬，訛稱六安）。顧霍邑山多繞確六地既廣且饒（產(chǎn)茶實浮于霍而貢額州不縣之什二）……產(chǎn)茶之地惟東山最早，而東山皆屬州境，每年大府薦新及本縣貢品，率皆州民于雨前，赴縣售賣；霍產(chǎn)悉出西南，遲在雨后，幫不及入貢，則茶之專名六安，亦紀實也。今為詳著其地此霍被六大較可睹矣。東山……貢茶歲居其八九（東山25處屬縣境的有磨子潭、與兒街、但家廟、單龍寺、東西溪等21處）。又據(jù)《霍山縣志》載：“光緒年間，以南鄉(xiāng)霧迷尖（即烏米尖），掛龍尖二山所產(chǎn)為一邑最采制既精，價亦倍于各鄉(xiāng)。”
霍山黃芽曾一度失傳。1971年以來開始挖掘、研制，恢復生產(chǎn)。1972年4月27日至4月30日，縣茶辦室選派農(nóng)業(yè)局茶廠、壩上茶站三位茶葉技干，在烏米尖同三位七、八十歲高齡的茶農(nóng)共同炒制黃芽茶，共計14斤茶樣，當即用白鐵桶封裝六斤上報國務院進行鑒評。翌年縣土產(chǎn)公司又布點三處，正式生產(chǎn)黃芽，金字山為重點，數(shù)年來，由審評室老茶師負責技術(shù)輔導。其余兩處為烏米尖和金竹坪。此后，經(jīng)過大化坪區(qū)農(nóng)技站、茶站的技術(shù)人員反復切搓，試驗改進，黃芽茶采制技術(shù)有所提高，品質(zhì)規(guī)格趨于固定。黃芽茶收購量1973年178公斤，1980年644公斤，1985年多渠道收購量猛增至3700公斤，每斤茶價8．50元。