关于杨森的老龙门阵不少，比如打狗，据说是他又名杨子惠，怕狗吃羊子，发动打狗运动。杨森对重庆市政建设做过不少好事，相传他曾仿效三国李严，有过开凿鹅岭连通两江的规划。不过呢，最为流传的，是杨森的风流韵事，杨森妻妾成群，儿女众多，寻花问柳不算，单是公开的妻妾就有12位，被称为“十二钗”；子女共有43人。
每个老婆都有故事。其中情节最曲折的，是他制裁“叛逆”姨太的残忍手段。杨森纳妾皆为色欲所需，个个都是绝色美女。然而，美丽对于女人而言，无异于抱璧藏祸。杨森的第七妾曾桂枝与第八妾蔡文娜，皆因惊艳美色，抵挡不住寻芳客的纠缠，情难自禁，导致红杏出墙，最后惨死在心狠手辣的杨森手里。
在七姨太曾桂枝20岁时，杨森将她送到上海读大学。这一下，曾桂枝像飞鸟投林一样，开心不已，不久和一位陈姓同学相恋了。从未体验过爱情的曾桂枝如沐春风，她和恋人成双成对，出入舞厅，卿卿我我。岂料这些情况被杨森安插在上海的耳目侦知。于是，怒火中烧的杨森，找借口将曾桂枝催回了四川渠县防区。临别时，陈姓同学将一枚家传的戒指戴在了曾桂枝手上，还拜托她在杨森手下谋份差事。就这样，这位七姨太欢天喜地地回到渠县，并带回了恋人的照片，央求杨森替这位陈姓同学安排工作。杨森不露声色地说：“这等小事有啥难的。给你同学写信，我让他来当渠县的教育局长。”曾桂枝一听，喜形于色，当即便飞鸿传书，叫恋人来到渠县。哪知姓陈的一跨入渠县境内，便被杨森的宪兵队设伏，用冷枪打死，暴尸荒野。此时，曾桂枝还心花怒放地带上两名警卫去河边迎接。当她哼着小调跨上船时，身后便响起了警卫如同冰窟里飘出的声音：“对不起，太太，军长有令，送你上路。”随即扣动了扳机……杀死二人后，杨森仍觉得不解恨。他又派兵将二人缚上巨石，沉入渠江。
