然而，杨虎城此时对中共虽然多有照顾，但对中共的这些示好举动却并不感兴趣。1935年底，毛泽东派汪锋去见杨虎城，杨似乎有意不与中共中央发生任何关系，表现得非常冷淡。1936年4月中旬， 毛泽东又派王世英去西安找杨虎城，杨竟推诿不见。这些都使中共领导人对杨的可靠性产生了怀疑，毛泽东断定：“杨虎城怕蒋特甚，一时当难与我们建立积极关系。”
据中共特使王世英后来回忆说：实际上，杨虎城封存有两大疑虑：一是“害怕暴露，因为他部下有一个师长叫冯钦哉，同蒋介石有勾结”。还“害怕与我建立合作，其部队群众为我争取，及害怕蒋发觉而迟缓。杨胆子很小”。二是“因红四方面军、红二十五军与十七路军曾订有互不侵犯协议，红军片面毁约，杨恐共产党不能遵守信义”。杨虎城的态度与当时一批试图与中共保持秘密联系的地方军阀相似，他们一方面到处给自己留下后路，愿意与中共保持接触，另一方面又不愿同中共明确合作反蒋的关系。
因此王世英评价说，这种人“凡事谨慎机警，鬼心眼儿特别多，深恐上当，于己不利或削弱他的力量，把他的摊子搞光，地位弄丢”。
