Patrick Devedjian s’engage en politique en 1964 en adhérant au groupe Occident (extrême droite). Les membres de ce groupe étaient connus pour leur violence. D’ailleurs, le journal Petit Varois a fait paraître dans ses colonnes en 1965 que Devedjian était condamné à un an de prison avec sursis (avec d’autres acolytes, notamment Alain Madelin) pou vol et détention d’armes. Patrick Devedjian affirme s’être retiré du groupe en 1966, ce qui est contredit par certaines journaux qui avancent qu’il en est resté membre au moins jusqu’en 1967. Il a d’ailleurs été condamné pour des faits remontant à 1967. Quoi qu’il en soit, Patrick Devedjian reconnaît ses tords dans ces actions. Il a déjà déclaré publiquement que c’étaient des erreurs de jeunesse.
Sa carrière politique démarre réellement au début des années 1970, pratiquement en même temps que sa carrière professionnelle. Il rejoint l’UDR en 1971 et participe à la création du RPR. Proche collaborateur de Charles Pasqua, Patrick Devedjian participe à la rédaction des statuts du nouveau parti.
Patrick Devedjian se présente sans succès aux législatives de 1978, aux cantonales de 1982 et aux municipales de 1983. Lors de ces dernières toutefois, les premiers résultats sont annulés par le tribunal administratif pour fraudes. Patrick Devedjian est alors élu Maire d’Antony, auparavant dirigé par André Aubry. Il reste à ce poste durant 19 ans (jusqu’en 2002) et se fera particulièrement connaître pour des efforts colossaux de modernisation de la ville. Cela explique sa réélection systématique. Par ailleurs, Patrick Devedjian est élu député en 1986. Il siège à l’Assemblée nationale jusqu’en 2002 et intègre plusieurs groupes et commissions. Il est par exemple membre de la commission des finances et rapporteur des accords du GATT. Classé parmi les Libéraux au sein du parti Rassemblement pour la République, Patrick Devedjian est l’un des rares députés de ce parti à faire campagne en faveur du Traité de Maastricht.
Patrick Devedjian soutient Edouard Balladur dans le cadre de l’élection présidentielle de 1995. Il fait campagne avec entre autres Nicolas Sarkozy. Suite à la défaite de Balladur face à Jacques Chirac, Devedjian se fait relativement discret jusqu’en 2002 où Nicolas Sarkozy (Ministre de l’intérieur) le nomme Ministre délégué aux Libertés locales. Il démissionne alors de son mandat de Maire à Antony. Toujours proche de Nicolas Sarkozy, il est nommé Ministre délégué à l'Industrie lorsque Sarkozy est Ministre de l’économie et des finances. Devedjian quitte toutefois le gouvernement à la nomination de Dominique de Villepin à Matignon en mai 2005. Il reprend alors des fonctions électives locales en devenant député de la 13e circonscription des Hauts-de-Seine. Nicolas Sarkozy quitte aussi le gouvernement à cette période pour se consacrer à la présidence de l’UMP.
Nicolas Sarkozy et Patrick Devedjian se soutiennent évidemment durant la campagne de l’élection présidentielle de 2007 où Sarkozy est candidat. Et lorsque Sarkozy investit l’Élysée, Devedjian devient Président du Conseil général des Hauts-de-Seine à sa place. Il préside également l’Établissement public pour l’aménagement de la région de la Défense. Ses fonctions au sein de l’UMP évoluent également. Il devient par exemple Secrétaire général délégué puis Secrétaire général en septembre 2007. Et lorsque Nicolas Sarkozy crée le poste de Ministre chargé de la mise en œuvre du plan de relance auprès du Premier ministre, en décembre 2008 c’est Patrick Devedjian qu’il nomme pour assurer cette fonction temporaire pour faire face économiquement à la sortie de crise.