硫酸发现于公元8世纪。阿拉伯炼丹家贾比尔通过干馏硫酸亚铁晶体得到硫酸。一些早期对化学有研究的人，如拉齐、贾比尔等，还写了有关硫酸及与其相关的矿物质的分类名单；其他一些人，如伊本·西那医师，则较为重视硫酸的种类以及它们在医学上的价值。
在17世纪，德国化学家Johann Rudolf Glauber将硫与硝酸钾混合蒸汽加热制出硫酸，在这过程中，硝酸钾分解并氧化硫令其成为能与水混合并变为硫酸的三氧化硫（SO3）。于是，在1736年，伦敦药剂师Joshua Ward用此方法开拓大规模的硫酸生产。
在1746年，John Roebuck则运用这个原则，开创铅室法，以更低成本有效地大量生产硫酸。经过多番的改良后，这个方法在工业上已被采用了将近两个世纪。 由John Roebuck创造的这个生产硫酸的方法能制造出浓度为65%的硫酸，后来，法国化学家约瑟夫·路易·盖-吕萨克以及英国化学家John Glover将其改良，使其能制造出浓度高达78%的硫酸，可是这浓度仍不能满足一些工业上的用途。
约翰·道尔顿在1808年绘制的早期硫酸分子图
在18世纪初，硫酸的生产都依赖以下的方法：黄铁矿（FeS2）被燃烧成硫酸亚铁（FeSO4），然后再被燃烧，变为能在480℃下分解成氧化铁以及能用以制造任何浓度硫酸的三氧化硫的硫酸铁[Fe2(SO4)3]。可惜，此过程的庞大成本阻碍了浓硫酸的广泛运用。 由约翰·道尔顿在1808年绘制的早期硫酸分子图显示了硫酸有一个位于中心的硫原子并与三个氧原子建立共价键，如右图。
后来，到了1831年，英国制醋商人Peregrine Phillips想到了接触法，能以更低成本制造出三氧化硫以及硫酸，这种方法在现今已被广泛运用。
在古代中国，稀硫酸被称为"绿矾油"。 在公元650～683年（唐高宗时），炼丹家孤刚子在其所著《黄帝九鼎神丹经诀》卷九中就记载着"炼石胆取精华法"，即干馏石胆（胆矾）而获得硫酸。
