據史料記載，霍山黃芽源于唐朝之前。唐李肇《國史補》把壽州霍山黃芽列為十四品目貢品名茶之一。
霍山黃芽唐時為餅茶，唐"膳夫經手金錄"載："有壽州霍山小團，此可能仿造小片龍芽作為貢品，其數甚微，古稱霍山黃 芽乃取一旗一槍，古人描述其狀如甲片，葉軟如蟬翼是未經壓制之散茶也。"
霍山黃芽自明代列為貢品。六安州志載：明時六安貢茶制定于未分霍山縣之前原額茶二百袋，霍山辦茶一百七十五袋。霍山縣志載明人曹琥"注黃芽茶疏"中說：臣查得本府額貢茶歲不過二十斤，祖宗以來圣賢相承不聞以為不足……寧府正德十年之貢（1515年）取去芽茶一千二百斤，細茶六千斤，不知實貢朝廷幾何……芽茶一斤，賣銀一兩，猶恐不得。
清乾隆四十一本（6-2）《霍山縣志》貢茶產地載："六安茶六安與霍山所并產也其以六安名者當霍未建縣已有貢額從其朔也。《天啟志》謂以六安寨得名以似鑿（寨本名六萬，訛稱六安）。顧霍邑山多繞確六地既廣且饒（產茶實浮于霍而貢額州不縣之什二）產茶之地惟東山最早，而東山皆屬州境，每年大府薦新及本縣貢品，率皆州民于雨前，赴縣售賣；霍產悉出西南，遲在雨后，幫不及入貢，則茶之專名六安，亦紀實也。今為詳著其地此霍被六大較可睹矣。東山……貢茶歲居其八九（東山25處屬縣境的有與兒街、但家廟、單龍寺、東西溪等21處）。又據《霍山縣志》載："光緒年間，以南鄉霧迷尖（即烏米尖），掛龍尖二山所產為一邑最采制既精，價亦倍于各鄉。"
霍山黃芽曾一度失傳。1971年以來開始挖掘、研制、恢復生產。1972年4月27日至4月30日，縣茶辦室選派農業局茶廠、壩上茶站三位茶葉技干，在烏米尖同三位七、八十歲高齡的茶農共同炒制黃芽茶，共計14斤茶樣，當即用白鐵桶封裝六斤上報國務院進行鑒評。翌年縣土產公司又布點三處，正式生產黃芽，金字山為重點，數年來，由審評室老茶師負責技術輔導。其余兩處為烏米尖和金竹坪。此后，經過大化坪區農技站、茶站的技術人員反復切搓，試驗改進，黃芽茶采制技術有所提高，品質規格趨于固定。黃芽茶收購量1973年178公斤，1980年644公斤，1985年多渠道收購量猛增至3700公斤，每斤茶價8.50元。
霍山黃芽炒制工藝未見記載，據金雞山、烏米尖做過數十年黃芽的老農口傳，解放前曾為山東商人生產"米茶"，采摘細嫩的一芽一葉，炒制技術與今相仿。
現今的霍山黃芽系散茶又稱芽茶。開采期一般在谷雨前后二、三日采摘一芽一葉至一芽二葉初展。其炒制技術分為炒茶（殺青和做形）、初烘（攤放）、足火（攤放）和復火踩筒等過程。
七十年代以來，"霍山黃芽"每年都特貢中央國家機關為辦公用茶。90年獲商業部農副產品優質獎、93年獲安徽省科技進步四等獎、全國"七五"星火計劃銀獎、99年獲第三屆"中茶杯"名優茶評比一等獎。
"霍山黃芽"主產于我縣海拔600米以上山區金竹坪、金雞山、金家灣、烏米尖等地，這里山高云霧大、雨水充沛、空氣相對濕度大、漫射光多、晝夜溫差大、土壤疏松、土質肥沃、PH值5.5左右，林茶并茂，生態條件良好，極適茶樹生長。
"霍山黃芽"品質特點是：外形條直微展、勻齊成朵、形似雀舌、嫩綠披毫，香氣清香持久，滋味鮮醇濃厚回甘，湯色黃綠清澈明亮，葉底嫩黃明亮。其制作工藝包括殺青（生鍋、熟鍋）、毛火、攤放、足火、揀剔復火等五道工序。
"霍山黃芽"常年產量300余噸，產品主要銷往北京、天津、上海、江蘇、山東及本省合肥、淮南等地，近年還出口德國、美國。為適應國際市場需求，在中荷扶貧項目辦的資助下，我縣實施了有機茶綜合開發項目，1000畝有機茶生產基地已經建成，即將獲得轉換證。