La chiesa è intitolata a San Rufillo, primo Vescovo della diocesi di Forlimpopoli vissuto nel Quarto secolo d.C., patrono della città. La più antica fase edilizia della chiesa è databile fra il Sesto e l’Ottavo – Nono secolo d.C.; dal Decimo secolo – e fino alla seconda metà del Quattordicesimo secolo – l’abbazia viene affidata a una comunità di monaci benedettini per poi passare sotto la giurisdizione del Capitolo di San Pietro di Roma. Alla seconda metà del Quattrocento si farebbe risalire la prima, sostanziale trasformazione del complesso chiesastico. Ma è fra il 1819 e il 1821 che l’abbazia è ampliata e rinnovata nelle forme neoclassiche secondo il progetto dell’architetto forlivese Luigi Mirri.
La chiesa conserva un patrimonio d’arte di grandissimo pregio: i due sepolcri cinquecenteschi, in pietra d’Istria, di Brunoro I e Brunoro II Zampeschi, signori di Forlimpopoli, oggi sistemati sotto il pronao di accesso al tempio; all’interno, tele del ravennate Luca Longhi, del forlivese Francesco Menzocchi, quindi del bolognese Giuseppe Marchetti e del forlimpopolese Paolo Bacchetti. All’esterno, alla base del bel campanile in stile lombardo (1521), è murata la testa di un leone in marmo di epoca romana.
Nel 1964 sono state restituite alla città le spoglie del proto-vescovo Rufillo che nel lontano 1361, per volontà del cardinale Egidio d’Albornoz, erano state traslate nella vicina Forlì.
Dal 1999 la chiesa è elevata a Basilica minore.
