Клуб, традиционно называемый, как и одноименный город, «помпи», был основан 5 апреля 1898 года пивоваром Джоном Бриквудом, ставшим президентом, и бывшим игроком «Эвертона» Фрэнком Бреттеллом, получившим должность тренера. Тогда же был построен и «Фрэттон Парк», где клуб играет и по сей день, а со следующего года «Портсмут» начал выступать в Южной Лиге.
Добившись там определенных успехов, в сезоне-1920/21 клуб был допущен в третий английский дивизион, а уже в сезоне-1927/28 сумел добраться и до высшей лиги. Дважды проиграв в финалах Кубка страны, в 1939 году «Портсмут» сумел-таки завоевать свой первый значительный трофей.
После перерыва, связанного с войной, «Портсмут» стал только сильнее, что выразилось в двух последовательных победах в чемпионате Англии в сезонах-48/49 и 49/50. Впрочем, на вершине английского футбола приморский клуб был не долго, покинув элиту в 1959 году. Двадцать восемь лет «Портсмут» курсировал от второго дивизиона к четвертому и обратно, пока наконец не вернулся в элиту в 1987 году только для того, чтобы на следующий год вновь ее покинуть.
Продолжились неудачи и в девяностые. В 1993 году «Портсмут» не попал в премьер-лигу напрямую только из-за того, что забил на один гол меньше, чем «Вест Хэм», и в итоге уступил в плей-офф «Суиндону».
Финансовые проблемы клуба были так велики, что Терри Венейблс приобрел в 1996 году контрольный пакет всего за 1 фунт. Впрочем, решить проблемы «Портсмута» у него не получилось, и клуб в итоге был приобретен сербским предпринимателем Миланом Мандаричем, немедленно вложившим в него значительные средства. Благодаря этому «помпи» сумели удержаться во втором дивизионе, а по итогам сезона-2002/03 и выиграть этот турнир под предводительством Харри Реднаппа. Впрочем, в элите клуб не произвел особого впечатления, трижды подряд финишировав во второй половине таблицы.
В январе 2006 года «Портсмут» был продан бизнесмену-космополиту Аркадию Гайдамаку, что позволило значительно увеличить расходы на трансферы и зарплаты игроков. Не стесненный в средствах Реднапп сумел заставить деньги работать: «помпи» стали сначала девятыми, затем восьмыми. В сезоне-2007/08 «Портсмут» также завоевал Кубок Англии, впервые в своей истории заслужив право на будущий год выступить в еврокубках.