蒋介石主政国民政府时期，曾派蒋百里考察南北防务，从山东、河北、山西、河南到湖南、湖北、广东，以应对可能的国家战争。蒋介石还委托蒋百里到庐山，为暑期训练班的各省高级将领授课。1936年底，蒋百里从欧洲考察军事回国，飞赴西安向蒋介石汇报，他对蒋说：“我刚从国外考察回来，消息比较灵通。目前日本海军和陆军为侵华而互相争功，日本天皇已秘密接见过陆军大臣，看来明年（1937年）一定会大举入侵我国！”
蒋百里的识见、预言几乎是惊人的准确。1923年，蒋百里与龚浩回北京。途经徐州，蒋忽然若有所感：“将来有这么一天，我们对日作战，津浦、京汉两路必被日军占领。我们国防应以三阳为据点，即洛阳、襄阳、衡阳。”龚听了这个神话般的怪论，觉得蒋太敏感，自忖“将来中日两国开战，无论怎样，我们的半壁江山不会沦于敌手”。
很早的时候，蒋百里就对梁漱溟说：“吾知中日之战，势不能免，胜败之分，一在械，一在人；论械则我不如敌，论人则我多于敌七八倍。然今日军事在民众总动员，而将士不过十之三。我国系农业社会，凡农民欲以民族主义动之不易明了，惟欲破坏其所据乡村，则彼以生命相搏，故欲君于教育中注重乡村……”1937年，他跟梁漱溟谈起中日战争时说，中国军民应“控制山东高地与山西高地”、“坚守一些山区不放”。因为单靠中国自己的力量无法抗得住强敌，大半国土皆要沦陷而不能守，那是没有问题的，抗且抗不了，要战胜它就更有待国际大势的变化不可了，所以需要西撤，待机反攻，合盟国之力以求收复失地。但单是靠他人，而没有“求诸己”的一面，那怎么能行？须知反攻战胜敌人的主要条件仍然在中国人自己。他似乎看到了持久战、敌后游击队。
曹聚仁则提到一件事：“有一天，那是‘一·二八’战后的第三天，2月1日。他和我们在一家咖啡馆喝茶，翻开那天上海版的《每日新闻》，头条新闻是日本陆相觐见天皇的电讯。他沉吟了一下，对我们说：‘2月5日早晨，会有日军一师团到达上海参加作战了。’他何以这么说呢？他说日陆相觐见天皇的意义是报告日军正式出战。依日本当前的运输能力，三天之间，可运输一个师团的兵力——四万战斗兵及其装备到上海，所以他估计这一师团，5日可以投入战斗。（后来，他把这一估计，告诉了蔡廷锴将军。）果然，‘一·二八’战役，日军的第一场反攻是从2月5日开始的，他估计得非常准确。”
但这样的天才却只能做了一个大时代的旁观者。蒋介石虽然器重蒋百里，但从不授予他兵权。1938年秋，蒋介石任命蒋百里为中国最高军事学府陆军大学代理校长，仍由自己兼校长。在军阀、枭雄争胜的时代，英雄无用武之地，几乎注定了蒋百里的个人悲剧。他赶上了西安事变，跟蒋介石一起做了张杨的阶下囚。张学良想派个人去南京接洽停战，又怕南京不接受，问计于蒋百里。蒋问：“这里的人你最讨厌谁？”张学良回答：“蒋鼎文。”蒋百里说：“那就让他去。”南京很快停火。牛刀小试只是做了一次参谋顾问的角色。
在那样的时代，蒋百里只是一个象征、点缀，更多的时候只能做一个宣传员，但这一工作他也做得极为出色。比如他从民族特性上劝导国人乐观，他说，中国民族夙非以武力见长，民族历史不以武功著称；但每从自卫上发出力量来，亦能战胜强敌，也就是说中国不能打侵略战争，而长于自卫。抗战初期，国民军队节节败退，形势万分危急。蒋百里在1937年秋冬撰写了《日本人——一个外国人的研究》一文，断言日本黄金时代已经过去，他说：“日本在极小一块空地中，常能布置出十全的庭园山石，这个想象力很大的日本民族，悲剧性地自造了一个国难，以为悲壮的享乐本来是一个理想的阴影，现在竟变成了事实的魔鬼。日本的厄运，实在是爱国志士造成的啊！”文章结语写道：“胜也罢，败也罢，就是不要同他讲和。”文章轰动一时，激励了无数人的抗日斗志。