中共陕西省委视杨为反动军阀、刽子手，因此号召“暴动起来，推翻杨虎城军阀统治”，命令在杨虎城部队中工作的中共党员不断对杨部进行“瓦解兵变”，对于那些不愿意执行命令的党员就给他们扣上“叛徒”“托派”的帽子。
此外，还有一些其他的冲突，比如杨虎城入主陕西后决定兴修杨虎城戎装照。修水利，召回了陕西著名的水利专家李仪祉，另外还从德国重金聘请了两位水利专家，但是中共山西省委负责人杜衡却派人刺杀了两个德国专家，并且宣扬这是反帝行动。
1933年，杜衡还固执地放火烧掉了具有千年历史的香山寺，说这是反封建。这些举动造成了不好的舆论影响，也对中共和杨虎城的关系产生了极大的破坏。
杨虎城虽与中共龃龉不断，但仍不愿与中共正面冲突，因此其在主政陕西时对中共仍是照顾有加。比如，1931年刘志丹、谢子长在陕北搞土地革命，杨通过杜斌丞资助刘部枪支和金钱。刘志丹在邻县被捕时，杨命南汉宸把刘接到西安秘密释放。由于杨的保护，中共在杨部的组织一直秘密存在并迅速发展。如张汉民任团长的警卫团，1934年全团有中共党员200多人。
1935年成立的绥署特务第二团有中共党员近300名。国民党特务宋志先曾说：“江西是共产党集中的地方，但那里红是红，白是白，红白分明，工作比较好办。西安这鬼地方是红白不分。不少人做的是国民党的官，吃的是国民党的饭，却说的是共产党的话，甚至做的是共产党的事。” 这也可以看出杨对中共的确不错。