高夫人母子三离开长孙府以后，他的哥哥高士廉把他们接到了自己的家中，高士廉年轻时很有才名，对文史典籍多有涉猎研究，与薛道衡的交情非常好

深得他的赏识和器重，并将他引荐给朝廷的公卿大臣，在文帝的时候曾经被人举荐朝廷，但他认为杨坚为了得国的手段残忍，再加上开国元勋王谊、虞庆则等人的下场后，想起祖父北齐清河王高岳的遭遇，便以自己是北齐宗室，不宜广交名流为借口，隐居在终南山，闭门谢客，但终为生活所迫，在杨广登基之初，薛道衡初任秘书监的时候受到了薛道衡的推荐，被封为治礼郎，主管朝廷礼仪事务

官小职微，俸禄不多，高士廉的母亲又年老多病，长年汤药不断

现在又多了妹妹一家子的生活费用，就更加拙荆见肘，高士廉的夫人鲜于氏虽然当着丈夫的面嘴上不说什么，可私下里总是阴一句，阳一句的

高夫人听在耳朵里，忍在心头，除了自己帮鲜于氏分担些家务外，还时常告诫长孙无忌和长孙无垢兄妹二人：    “我们一家三口如果没有你们的舅舅，我们就要露宿街头了，所以，你们要记住，如果有朝一日你们有了出头之日，一定要报答你们舅舅舅妈的大恩！”长孙无