光绪二十二年（1896年），张之洞回任湖广总督。黎元洪应张之洞之召随同回到湖北家乡，在湖北枪炮厂负责监制快炮，从此结束二十余年的北漂生活。

张之洞到湖北后继续编练新军，加强军事建设。

因为湖北居长江上游，多有会党人员出没，故而应该多驻兵拨款，黎元洪以此为由，向朝廷奏请将自强军中己经练成的原江南护军前营500人调往湖北，扩充而为前后两营，编成湖北护军，作为湖北练兵的模范。

湖北新军的营制仿德国军制，张之洞任黎元洪为护军后营帮带，五品顶戴尽先补用千总；后又以黎擅骑术，任为马队管带。

在湖北护军编练取法上，随着形势的变化，张之洞认为日本与中国同种、同教、同文、同俗，而且军事变革已经初见成效，所以中国想要学习欧美各国的军事制度，应该先以日本为阶梯。

遂从学习德国转而师法日本，光绪二十四年（1898年）、二十五年（1899年）、二十七年（1901年），在湖北当差的黎元洪受张之洞委派，先后三次到日本留学考察军事教育和观摩仙台大操，内容涉及各个方面，逐步充当了清末军事现代化风潮的地方军制改革的先锋。

黎元洪每次考察回国后都写下日本军事考察报告送呈张之洞检阅，引起了张之洞的极大兴趣。学习考察后归来的黎元洪颇得张之洞赏识和倚重，被提拔为各营教练官，又兼训新兵，成为编练湖北新军的高级将官。

光绪二十五年（1899年），黎元洪得张之洞保举侯补千总，以守备尽先补用。

二十世纪初，清政府又开始推行清末新政，湖北开各省风气之先，加紧施行。黎元洪奉命协助办理将绿营、防营结束后，又增招新兵，扩充武备学堂设备。

在日本所学的西式教育的洗礼下，黎元洪的军事思想开始进入了湖北最高军事决策层的视野，并付诸实践。

张之洞先后多次采纳他的军事改革建议：一是规定水陆各营所辖兵勇凡遇有重大过犯者，均交执法官审讯，不得擅杀；二是将武备学堂及防营将弃学堂合并改为武高等学堂。

另设武普通中学堂，前者为张之洞军事学堂体系中的高等军事教育机构，后者为中等军事教育机构。

武高等学堂程度与日本陆军士官学校相等，为武普通中学堂毕业学生升学之地，为湖北乃至全国培养了大量军事近代化所需的人才。

三是湖北省会开办警察，从各营选拔优秀士兵进行训练后充任。因在军事实践中表现突出，黎元洪的仕途平步青云。