Khương Công Phụ sinh ta ở thôn Cẩm Cầu, xã Sơn Ôi, huyện Yên Định, tỉnh Thanh Hóa. Trong dịp khảo hạch ở quận, vua Đường chỉ cho sĩ tử An Nam được sang Trường An thi có 8 người nhưng Công Phụ đã vượt qua hết các kỳ khảo hạch và luôn đứng đầu số sĩ tử dự khảo hạch. Đến kỳ thi ở Trường An, ông đã đỗ Trạng Nguyên.
Đặc biệt, nhờ can gián vua trong việc binh loạn Trường An mà ông được thăng chức Gián nghị Đại phu Đồng trung thư môn hạ Bình Chương sự, tương đương chức Tể tướng.