В XVI - начале XVII века территория Грайворонщины входила в состав Хотмыжской волости Путивльского уезда.
XVII век-1765 год Грайворонская сотня Ахтырского слободского казачьего полка.
С средины XVII века, в связи в переселением из Правобережной Украины (и образованием Слободских казачих полков) на территорию современного Грайворонского района переселяется много украинцев (русинов, черкасов), а сама территория становится частью образованного Ахтырского слободского казачьего полка, как Грайворонская сотня. В связи с тем, что граница между Слобожанщиной (Ахтырский полк) и Белгородским полком (Хотмыжский уезд) была "размыта", зачастую население одной и той же территории могло подчиняться различным инстанциям. Украинское население Грайворонской сотни подчинялось полковой старшине (г. Ахтырка), а российское - Белгородскому воеводе.
В период с 1838 по 1928 год существовал Грайворонский уезд Курской губернии.
Район образован в 1928 году после упразднения Грайворонского уезда и перехода на областное, окружное и районное деление.
С 1928 по 1930 год район входил в состав Белгородского округа Центрально-Чернозёмной области.
В 1930 году округа были ликвидированы, районы, в том числе Грайворонский, стали подчиняться непосредственно областному центру (город Воронеж).
В 1934 году Центрально-Чернозёмная область была разделена на Курскую и Воронежскую области. Грайворонский район отошёл к Курской области.
В 1954 году Грайворонский район вошел в состав новообразованной Белгородской области.
В 1964 году район был ликвидирован, его территория вошла в состав Борисовского района Белгородской области.
Грайворонский район был воссоздан в 1989 году.
С 1 января 2006 года в соответствии с Законом Белгородской области от 20.12.2004 № 159 муниципальное образование «Грайворонский район» наделено статусом муниципального района. На территории района образованы 13 муниципальных образования: 1 городское и 12 сельских поселений.