秦始皇统一天下后，废除封诸侯，实行郡县制。郡下设县，县下设乡，乡下置亭，亭下有里。郡守、县令由朝廷任命。当时浮梁及周边数县都为番县所辖；汉时改番县为鄱阳县；三国孙吴时分置鄱阳郡；南北朝的梁时于郡置吴州；隋改饶州，大业初仍为鄱阳郡；唐武德四年(621年)复名饶州。至于浮梁县的始建，要感谢两位先人，一名叫李大亮，一名叫韦玢。
李大亮
李大亮，生活在隋末唐初年间。在灭隋兴唐的多次战役中立功。唐高祖武德二年(619年)，朝廷曾将鄱阳县的东北境，划为新平乡。由于多年的战争和自然灾害，好些地区人逃地荒。高祖李渊为了政权的稳固，任命了好些大臣为安抚使，到各地巡视。李大亮被派往江南。他到鄱阳湖东北境，对这里的气候、地理、农业等情况，做了深入的调查研究。之后，他认为：鄱阳湖滨范围广袤，洪涝频繁，少数几位官员根本无法顾及，应分立而治。在新平乡境内，一方面昌江山洪猖獗；另一方面是茶叶丰盛，瓷器精美，为了抗拒山洪，又使茶叶和瓷器提供更多赋税，应单独设县管理。于是，他便将这些见解写成奏章，请求将鄱阳县东北境划出设新平县。唐高祖李渊阅览奏章后，于武德四年(621年)准奏建置新平县。其境包括现今的江西浮梁县全境和安徽祁门县南境的大部分。治所设在新定、化鹏二乡之间，即今之江村乡沽演村一带。原因有二：一是地理位置在全县中心；二是今之浮梁北部和祁门南部山脉相连，是富庶的产茶区，管理方便。可是到了仅四年后的武德八年(625年)，新平县被一个叫常季武的官员奏请朝廷给撤掉了，重新并入鄱阳县。
韦玢
韦玢，生活于唐代中前期，官封饶州刺史。他是一个很勤恳的官员，经常到下属各县视察。当时原新平县的茶叶几乎占全国第一位。他认为：此处幅员广阔，山多林密，土地肥沃，茶叶生产有得天独厚的条件，如管理有序，将会给国家的经济大有帮助。于是，他写就奏章，请求朝廷将中断了九十年的新平县重新恢复。唐玄宗开元四年(716年)，朝廷准奏，恢复县的建置，地域基本未变，不过县治迁到东河与北河汇合处，即今之新平乡，改县名为新昌县。原因是，原新平县治沽演处于山区，交通不便。新昌江口则可扼东河一带的瓷器、北河一带的茶叶。到天宝元年(742年)，才改名为浮梁。关于县名的由来，史书载“以溪水时泛，民多伐木为梁也”。另有一说是“洪水泛梁木横断昌江口，人因以济，故曰浮梁”。不过，在唐代宗永泰二年(766年)，将北部大部分地区划出，与当时歙州黟县一部分地区合并成立祁门县。唐宪宗元和年间(806—820年)，由于新昌江口屡遭洪水淹没，于是将县治迁至昌江西岸西北高阜上，也就是今日的旧城。民国5年(1916年)，县治迁到了景德镇。
浮梁沽演村