其实，瑞麟也并非庸才，在攻打太平军时竭尽全力斩获颇多，太平军著名将领林凤祥就折在他手里，他也由此加都统衔授封西安将军。要不然他也不会官居一品，又入军机，又成封疆大吏。
同治初年，闭门思过的军机大臣瑞麟外放两广总督。刚一到任，正赶上米价飞涨民心躁动，巡抚、知府等众官员齐聚总督府商讨应对之策。瑞麟危襟端坐垂问下属：“米价何以上涨？尔等知其缘由否？”相关下属答曰：“市侩居奇。”瑞麟听罢愣了愣神，紧接着又问：“四怪！何许人也？”此一问令下属瞠目结舌不知如何作答，若回复说并非“四怪”而是“市侩”吧，将置总督于尴尬境地，自己的前途毁于一旦，于是低头不语做沉思状。瑞麟见状并不催促，反倒宽慰下属：“莫慌、莫慌，待查明报来便可。”在座众官员哭笑不得纷纷侧目，巡抚出言圆场：“细查、细查，侍查实再报。”
几天后待瑞麟追问时，下属禀报：“广州百姓将奸商唤做‘四怪’，意思是那些奸商如同市井流氓。”瑞麟闻之点头道：“原来如此，原来如此。”还吩咐：“对‘四怪’务必要好好管一管。”事后，瑞麟成了两广官员茶余饭后的笑柄，不过在瑞麟离任回京时，众官员又都多有失落，说这位封疆大吏尽管耳朵不太好使，见识也不太高明，但却不贪婪、不刻薄、不耍大牌极好相与，是个不错的上司。
多少沾了点儿慈禧的光
咸丰朝，瑞麟还放过外任，任直隶总督。其时，惠亲王绵愉上折，奏请天津塘沽务必屯兵驻防，以防洋人海上进犯。咸丰准奏，命僧格林沁与直隶总督瑞麟前往勘察，全权督办。勤勉实干是瑞麟的长项，数月之内便大炮到位长堤筑成。转年，这海防工程还真发挥了作用，重创英国舰船，为咸丰挣足了面子。朝廷论功行赏，僧格林沁为首，瑞麟亦获嘉勉。可咸丰十年时，曾经威名远播的海防如枯木一般，片刻间就被英法联军摧毁了。朝廷急调僧格林沁率3万大军镇守京东八里桥，胜保和瑞麟也是奉旨扼守八里桥的倚重大臣。
战端一开，仅有3000兵的联军打垮了驻守八里桥的3万清军，僧格林沁、胜保败退京城，瑞麟则在开战之前就私回京城了。按说瑞麟所犯是临阵脱逃的不赦之罪，但上谕传来只将他革职，并没交有关衙门查办，同时还着他“留军中效力，立功赎罪”。后来，英法联军攻进北京火烧圆明园，以报谈判特使在圆明园遭酷刑被残杀之仇。逃到承德的咸丰怨恨交加却又无计可施，即无意更无力顾及瑞麟当如何处置类的琐事。再后来，咸丰病亡，辛酉政变你死我活，两宫忙着肃清八大臣余孽，瑞麟这类琐事同样摆不上议事日程。待政局稳定，这类琐事能摆上议事日程时，朝廷中主事的已然是慈禧及恭亲王、醇亲王了。瑞麟的亲朋故旧为之开脱，说他当时并非军职，只奉旨协助没统兵之权责，开战之前回京探家，不应以“临阵脱逃”论处。何况再怎么着，他也是慈禧和醇亲王福晋的族叔，不看僧面看佛面，相关衙门拿出“闭门思过”的处理方案，军机处认可，朝廷准奏，于是瑞麟便奉旨“闭门思过”了。
“闭门思过”的瑞麟干起了年轻时不愿下力的事，整天价待在书房里吟诗作画。功夫不负有心人，他的诗画还真有了长进，不过他有自知之明，从不以诗画赠人。有人上门索求，赞他诗画俱佳，他从来摇头：“诗乃打油诗，画乃匠气画，登不了堂入不了室，自娱而已。”就是在日后的两广总督任上遇人索求，瑞麟也照旧这般说出口。
皇恩浩荡春风吹来，在家“闭门思过”不足两年的瑞麟奉旨上朝，朝廷外放他为两广总督。原本铁定在家赋闲以终天年的瑞麟又一次被天上掉下来的馅饼咂中了头，究竟是共同当过“军机大臣上行走”的恭亲王奕念旧，还是恭亲王借此送慈禧一个人情？无从考证。但无论如何从情理上说，瑞麟是沾了慈禧的光，当然也是沾了他自己人缘好的光。如果说慈禧恩典过娘家人的话，由“闭门思过”而外放两广总督的瑞麟是唯一的一位。因为外放封疆大吏，没有慈禧点头绝对没戏，任谁举荐也白搭。当然，慈禧的这一恩典绝没“格外”。因为一品大学士瑞麟的资格在那儿摆着呢，咸丰朝的“军机大臣上行走”，又当过直隶总督，凭这资格外放两广总督没毛病可挑，也就是说，对这位族叔，充其量是慈禧顺水推舟，而算不上刻意关照，更算不上格外扶植、恩赏。