年轻时先后师从阴阳师贺茂忠行和保宪父子，40岁以天文得业生的身份出道，50岁就任天文博士，在贺茂保宪死后开始崭露头角，以出色天文和阴阳道知识赢得朝廷信任，屡任左京权大夫、播磨守等要职，并位居官阶从四位上。随着两名儿子安倍吉昌、吉平分别担任天文博士和阴阳助之后，使得安倍家成为取得和师傅贺茂家并驾齐驱的地位。