Павел Ковалевский родился 23 июля (4 августа) 1843 года в Казани в семье профессора Казанского университета Осипа Ковалевского.
Не окончив гимназию, поступил в 1862 году вольноприходящим учеником в Императорскую академию художеств; его наставником был Виллевальде. За успешные занятия был награждён четырьмя серебряными медалями (1863, 1865, 1866 и 1868), а в 1869 году — малой золотой медалью за картину: «Преследование турецких фуражиров казаками, близ Карса». В 1871 году за картину «Первый день сражения под Лейпцигом 1813 г.» Ковалевскому была присвоена большая золотая медаль.
В 1873 году на пенсионером Академии художеств был отправлен в трёхлетнее путешествие в Европу — был в Германии, Австрии, Италии; работал в основном в Риме. В 1876 году ему было присвоено звание академика Академии художеств за картину «Раскопки в Риме».
Во время русско-турецкой войны 1877—1878 годов сопровождал русскую армию и собрал богатый запас материалов для последующих батальных произведений.
В 1878 году получил золотую медаль 2-го класса на Парижской всемирной выставке; в 1881 году возведён в звание профессора; в 1886 году отмечен золотой медалью на Берлинской юбилейной художественной выставке.
С 1897 года Павел Осипович Ковалевский руководил батальной мастерской Академии художеств. Считался одним из лучших мастеров по изображению лошадей..
Умер 7 марта 1903 года.
В Третьяковской галерее хранятся две его картины: «Объезд епархии» и «Встреча», а в Русском музее более 70 его картин, этюдов, рисунков в том числе и картина «Можайская дорога в 1812 г.» по роману Л. Н. Толстого «Война и мир».