关于歙砚的起源，人们一般认为是唐代。宋人洪景伯《歙砚谱》记载，唐开元年间，歙州猎户叶氏逐兽至长城里，见叠石如城，莹洁可爱，携归成砚，由此歙砚始闻天下。然而，随着研究的深入，有一些学者认为，歙砚极有可能始于汉代，晋代及南北朝时期不断出现，唐宋时期已经遍及中华大地。唐开成五年（840年）的箕形歙砚石质细润、色泽清纯，是早期歙砚的珍贵遗存。

南唐时期，歙砚大受欢迎。中主李璟精意翰墨，宝重歙石，专门在歙州设置了砚务，选砚工高手李少微为砚务官，负责督采歙石，歙砚成为贡品。由于国主的重视，歙州一带的制砚业更为兴旺，歙砚的身价扶摇直上。后主李煜对歙砚更是推崇，将其誉为“天下冠”。由帝王设置砚务官督采砚石，这是歙砚在中国砚史上写下的辉煌一页。