张作霖事业上青云直上时，家庭发生变化，开始寻花沾草，搞起了女人，嫌弃了赵氏及她生的子女。

1901年在台安当团练长的时候就续卢氏为妻，1906年在台安又娶戴夫人，1907年，刚被清招抚到新民又续四太太许夫人，五太太寿夫人。

张作霖拉帮时，劫夺财务甚多，曾抢劫过俄国一批金币，在八角台当团教练长时又打下周围小帮的财物不少，因此富有，他除了爱好马以外，就是娶夫人。张作霖常说：“美人名马英雄胆”。

这么疯狂找夫人，大都青年美貌，均比大夫人赵氏强，自然而然的把赵氏忘记了。赵氏是广宁县（今北镇市）赵家庙子村二道沟屯赵占元的二女儿，貌不美，而且有眼视斜病。但是很能干。张作霖好骂人，常与同伙发生争吵，经赵氏调解，都相安无事，可见赵氏是同伙尊重的好女子。张作相说：“张大哥能成大业，起初时多亏大嫂子”。

赵氏1901年6月4日生张学良，在张家窝棚草房里住，第二年来八角台住一段，张作霖对冷漠，又与二夫人处不来，带张学良回张家窝棚，1904年生张学铭，张作霖去新民府开始没有带她，住在八角台旧居。赵氏带3个孩子过日子，张作霖进了奉天，基本上忘了赵氏，在经济上也不及时供给她们母子，以致1911年冬，赵氏抱着5岁张学铭去奉天向张作霖要钱，因张学铭不适应环境，晚上啼哭，被张作霖暴打一顿，赵氏与张作霖争吵起来，并大打出手，第二天早上就带张学铭回八角台了。张作霖不理她了，打入了冷宫。从此，赵氏患了忧郁症，隔几月疯了，1912年4月病死，终年才38岁。