起源
府兵制原起于北魏时期鲜卑人当兵、汉人务农的政策。府兵全家可以免除赋役，当兵成为鲜卑人的专利，这政策明显地带有民族隔离的色彩。到了北周后期，迫于形势，汉人也被募充作府兵。杨坚为北周大丞相时，就下令西魏受赐鲜卑姓的汉人可恢复汉姓，开始破除了鲜卑人当兵、汉人务农的规定。隋开皇十年(590年)，文帝又下令府兵全家一律归入州县户籍，受田耕作，变军籍为民籍，兵士本人则由军府统领。这一措施不但使农业户口大增，促进了农业的发展，而且更适应了民族融合和时代趋势，有利于民族团结和国家统一。
含义
府兵本泛指军府之兵。北魏在六镇起义后分为东西魏。为了与东魏相抗衡，西魏宇文泰于大统八年(542)把流入关中地区的六镇军人和原在关中的鲜卑诸部人编为六军。次年与东魏作战，败于洛阳邙山，损失很大。为了补充和扩大队伍，以后几年不断收编关陇豪右的乡兵部曲，选任当州豪望为乡帅。大统十六年前，已建立起八柱国(大将军)、十二大将军、二十四开府(又称二十四军)的府兵组织系统。八柱国的设置乃模仿鲜卑拓跋部的八部制度，其中宇文泰实为全军统帅，魏宗室元欣仅挂虚名，实际分统府兵的只有六柱国，也与周国六军之制相符。西魏恭帝元年(554)，按照北魏早期所属大小部落的姓氏赐诸将姓，作为早已“灭绝”了的这些部落的继承人，所统兵士也改从各自主将之姓，这就给府兵制涂上了一层鲜卑部落兵制的色彩。
史书记载
由于记载不详和分歧，有关隋以前军府组织的某些环节不清楚。据记载，开府“二十四员分团统领，是二十四军;每一团，仪同二人”。但开府和仪同是共领，还是分领一军;仪同是否独立置府领兵;当时军府是否指二十四开府，或应包括仪同府;史籍记载上：“初置府，不满百”或“合为百府”之说是否可信，史学界对这些问题存在着不同意见。开府、仪同以下置大都督、帅都督、都督等分级督率，则是清楚的。隋代军府有内府、外府(也就是内军、外军)之分，以骠骑将、车骑将军为长、贰，有时也设置与骠骑府并行的车骑府。炀帝大业三年(607)改称鹰扬府，长官为鹰扬郎将，副为鹰扬副郎将(后改鹰击郎将)。