在辽国的支持下，完颜部作为生女真节度使的政治地位越来越稳固，掌握了生女真部落最高权力。生女真节度使这个职位虽然未入辽国的官册（今所说编制），但觊觎者众多。咸雍十年（1074年），乌古乃的次子劾里钵继位后，内有叔父跋黑和属下桓赧、散达的二心，外有乌春、窝谋罕、石显父子等胡里改人部落的挑战，最后内外结成联盟均欲与之一争高下，一时间危机四伏。而因为辽国委托完颜部管理生女真，所以胡里改在《辽史》中只字未提。

按《金史》的记载，胡里改作为辽末新出现的与完颜部对抗的群体，并不是一个具有祖源关系的族属。而是分布在松花江玛蜒河口松花江、黑龙江下游右岸，张广财岭以东，绥芬河流域以北，乌苏里江流域以西的广阔区域，独立于五国部之外，不接受完颜部管理的诸多部落，其中有孩懒水乌林达部、温都部、加古部、星显水纥石烈部、姑里甸、窝谋罕等。前文提过胡里改是自称，字义犹如俄罗斯的哥萨克，可以解释为自由的人、勇敢的人，也可以解释为野人、强盗。

最先挑战完颜部领导地位的是孩懒水（牡丹江支流海浪河）乌林达部。之后跋黑等勾结胡里改其他各部争夺生女真节度使，劾里钵不得已派使者与温都部头人乌春和亲，乌春不答应，开玩笑说：“狗与猪的子女共处，怎么能生儿育女呢？胡里改与女直（避辽兴宗耶律宗真讳，这里专指完颜部）怎么可以结亲呢？岂可为亲也。”

但是在三江的胡里改部落态度这不尽相同。完达山西侧的窝谋罕、姑里甸积极出兵反对完颜部，并在玛蜒河与劾里钵进行了一次决战，以失败告终。后温都部的乌春去世，乌林达部的石显父子被征服，胡里改人再无能组织对抗完颜部。而完达山以东的加古部则借着和解的机会答应和亲，成为完颜部的姻亲部落，其后人在完颜部建国后成为皇亲国戚、勋臣大吏，一直延续到金国灭亡。

在现在，由于清代以来混乱的三江流域历史学术研究，说起胡里改就无法避免与牡丹江的联系。有人按一般惯例推测，胡里改人因忽汗河、胡里改江（牡丹江）而得名。但在正史中并无忽汗河字样的直接记载，胡里改江一名在《元史》中才出现。还有人认为，辽金时期牡丹江名为曲江，这也是附会牡丹乌拉。《金史》记载，上京会宁府下设曲江县，并不在胡里改路。据考证，曲江县在宾县境内。

胡里改人之所以能够出现在正史中，根本原因就是他们骁勇可用。在劾里钵、颇剌淑、盈歌、乌雅束四位领主在位期间，苦战近五十年，依然乍服乍叛，打出了尊严。后又在征辽伐宋时，野性彰显，屡立战功，立国有名。