今滨州市驻地的东城区早先叫“北镇”，因紧临大清河北岸而得名，与南岸的蒲台县城(现滨州蒲湖水库)隔河相望，是鲁北滨海一带著名的重镇和水旱码头。1855年黄河决口夺大清河入海至今，这里仍商贾云集、繁荣兴隆，是黄河三角洲地区最大的商贸流通聚集地。
旧时，北镇高家胡同有一同族人家，父母俱亡，撇下兄弟四个，乳名分别叫大升、二升、三升、四升。大升、二升幼年冻饿早亡，三升、四升靠乞讨度日。高三升长到十五、六岁，身体高大粗壮，憨头憨脑，由于饭量大，成天饿肚子，见阔人吃喝冷不防抢来就吃。冬日某天，街头有个卖秫秸的，三升偷抽了几棵想晚上烤火，结果被卖主发现扭着就打，三升因偷了人家理亏，不敢还手。卖主不解气，竟朝三升小腹猛踢一脚，三升当场休克，经好人施救，才苏醒了过来，并无大碍。其族长既气愤又怜悯，把三升叫到跟前训斥一顿，当即拿出一定盘缠，让三升外出闯荡谋生路。
那时，滨州一带人外出闯荡大都去天津，叫下天津。三升上路后琢磨惟有投军才是上策。走了没多远，遇上一位衣衫褴褛、清瘦黝黑的男孩坐在路边哭泣，三升追问方知男孩姓刁，名鸿图，在一油坊打短工，因天冷出油少，东家硬说他妨的被赶了出来。三升劝道：“你没听说书吗？叫花子薛平贵投军当了王爷。我叫三升，你叫鸿图，咱俩一起去投军，说不准会有出息。”刁鸿图便随三升下了天津。
1894年甲午战败，袁世凯毛遂自荐当上了新军监军，将招募的七千新军编为左右两翼，隶属荣禄的武卫右军。曹锟任武卫右军右翼步兵第一营帮统，冯国璋为督操营务处总办。高三升、刁鸿图到了天津，正值袁世凯招兵，他俩应募入伍，三升遂请人起了个学名叫高在田。他个头高力气大，自幼受难，训练能吃苦，平时很勤快，且憨厚仗义，很快赢得了士兵和军官们的喜欢，他所在军队上上下下仍叫他高三升。
1898年，北洋军阀为整饬军纪，在天津举行了一次大检阅，军机大臣荣禄亲临检阅，袁世凯为点名官，点到谁，谁出列后入新列。不知怎的把高三升漏了，三升急了，便跑步上前大声喊道：“报告大人，还要不要三升？”其声如洪钟，顿时引起了全场官兵的注目。袁世凯猛然惊讶，连声说道：“我要三升！我要三升！”袁世凯迷信，认为高三升的喊声是大吉大利的谶语，暗自称喜。事也巧合，袁世凯自这次检阅后时来运转，青云直上。1899年升任山东巡抚；1900年，八国联军进犯京津，荣禄的武卫前、后、左、中四军几乎全部崩溃，而袁世凯的武卫右军进驻山东后却得到了发展壮大；1901年11月7日李鸿章病逝后，袁世凯升任直隶总督、北洋大臣，果真连升三级。因此，袁世凯对高三升格外赏识和器重。高三升忠勇有加，也连连“三升”。
1900年凌汛，北镇上下河段告急，袁世凯前来察看凌情，问高三升：“你故乡有啥名吃？”利津水煎包、蒲台面和滨州锅子饼，高三升以前虽没吃过，但却知道，张口说来。袁世凯一一品尝，连连叫绝。经高三升请求，孤独在家的高四升随即从军。袁世凯回京后的某天，带亲兵赴天津在狗不理包子馆吃喝，完毕后刚出门，一革命党人向袁世凯投去了一枚手雷，“嘶嘶”地冒着青烟。高三升手疾眼快，一脚将手雷踢飞，顺势将袁世凯按在身下，“轰”的一声巨响，袁世凯虽受惊吓但安然无恙，高三升却被炸伤了臀部，从此，袁世凯对高三升更是喜爱有加。
1912年，袁世凯成为中华民国大总统，下令选拔身材魁梧、相貌不凡的忠勇之士充当总统侍卫，高三升荣升侍卫管带。1916年6月6日，袁世凯称帝“洪宪”83天，在举国上下一片讨伐声中命归黄泉。之后，段祺瑞、冯国璋、曹锟等轮流执政，他们都是高三升的老上司，三升仍然得宠。段祺瑞执政时，高三升已升任副督统，相当于中将，高四升也一跃成为骑兵营长。三升原籍滨县不少人也前去巴结，县会会长刘殿鳌，当了高三升的军法官；北镇商会会长王绶彩当了高三升的军需官；同族绅士高凤龄当了高三升的书记官。不久，高三升被任命为西北边防军副司令驻张家口，由于司令徐树铮是段祺瑞的智囊人物，段离不开徐，高三升独揽兵权。