隋炀帝年间，高句丽三次击败前来征讨的隋军，盛极一时。隋唐更迭的战乱，蒙古高原的突厥乘机崛起。地缘政治使东北三江流域的靺鞨部落有了新的变化和发展，并以黑水都督府设立为标志，纳入了中华版图。

隋末唐初靺鞨有相互独立的数十部，有的依附高丽，有的臣服突厥。薛礼征东后，粟末部后来建立了渤海政权，白山、汨咄、安居骨、号室等四部瓦解，并入渤海。黑水流域的部落以三江口为界分为南北两部分，共有十六部，朝廷掌握的包括黑水、拂涅，又出现了虞娄、越喜、铁利、思慕、郡利、屈设、莫曳皆等。

一般认为，黑水、越喜、思慕、郡利、屈设、莫曳皆等六部位于远东地区。拂涅部分布松黑三角洲、穆密平原、牡丹江盆地，以牡丹江、穆棱河为通道。挹娄以虞娄的名号再次出现，分布在松花江右岸完达山系两侧。铁利源于秽貊族系的“橐离”，一般认为在呼兰河流域，与寇漫汗（豆莫娄）国为同宗。

武德二年（619年）唐高祖下诏确立了“怀柔远人，义在羁縻”的边疆民族政策。经过贞观之治唐王朝成为世界最强大的帝国，开始经营东北。高宗乾封三年（668年）李勣（徐懋功）攻破平壤。设安东都护府，薛仁贵（薛礼）为都护，下设拂涅州、舍利州、越喜州等都督府。武则天初年，大祚荣趁营州之乱建国，向突厥朝贡。睿宗先天二年713年，朝廷册拜祚荣为左骁卫员外大将军、渤海郡王，加授忽汗州都督。

渤海武王大武艺袭位后极力开疆扩土，为了防止渤海在东北一家独大，玄宗采取了反制措施。开元十年723年，拜黑水靺鞨酋长倪属利稽为勃利州刺史。开元十三年，又改由黑水靺鞨所谓最大部落为黑水府，其首领为都督，由幽州都督管辖。至此，设在黑水流域诸都督府废止，代以黑水州都督府为核心，联合松嫩流域、三江流域及远东地区靺鞨部落，构成庞大的反渤海军事联盟，区别于靺鞨黑水部的黑水靺鞨正式形成。黑水首次置于中原王朝的直接管辖之下。开元十六年，赐黑水都督姓名李献诚，授云麾将军兼黑水经略使。

黑水州都督府治所一般认为在伯力。但因与勃利州地望重叠而遭到质疑。有研究认为，伯力说是基于靺鞨黑水部的推演，但黑水州都督府是黑水靺鞨的最高管理机构，应该在整个黑水靺鞨分布区寻求。从考古学的角度，鹤岗区域内黑水靺鞨遗存最多、最密集，文化信息一致，应是黑水靺鞨中最大部落的居地。其中萝北县延军农场5 队东南八里的黑龙江江岸古城遗址面积最大，应为黑水都督府的治所。这个观点比伯力说更可信。