Crescut de Brondby, Olsen a fost cumpărat în 2012 de Inter Milano, care plătea 260.000 de euro pentru transferul său. Danezul a jucat la formația Primavera a clubului, însă a prins un meci și la prima echipă a nerazzurrilor. Olsen a jucat și în liga secundă din Franța, la Lens (august 2015 – ianuarie 2017), perioadă în care a strâns 26 de partide și 4 goluri.
După experiențe în țara natală, la FC Helsingor, Aalborg sau Aarhus, Patrick Olsen a ajuns la Slask Wroclaw în februarie 2022, unde a acumulat 73 de partide, 3 goluri și două pase decisive. În noul sezon, danezul nu a jucat deloc.
“Noul nostru jucător a început fotbalul la Brondby, a terminat junioratul la Inter Milano și a mai evoluat în Norvegia (Haugesund), Franța (Lens), Elveția (Grasshopper Zurich), după care a revenit în țara natală, unde a jucat pentru FC Helsingor, Aalborg și Aarhus.
În sezonul trecut, Patrick a evoluat în 29 de partide în Ekstraklasa și a marcat două goluri pentru polonezii de la Slask Wroclaw. Patrick Olsen va îmbrăca tricoul alb-roșu până în 2026”, a transmis Dinamo.