Fidèle chiraquien, il a été conseiller auprès de lui dès sa nomination à Matignon, en 1974. Ministre de la Culture et de la Francophonie sous le gouvernement Balladur en 1993, il devient ministre de la Justice de 1995 à 1997. Sans mandat politique, il exerce différentes missions sous la présidence de Nicolas Sarkozy, et est personnalité qualifiée dans la commission HADOPI. En 2014, il devient, sur nomination de François Hollande, Défenseur des droits, succédant ainsi à Dominique Baudis, première incarnation de cette autorité constitutionnelle chargée de défendre les citoyens en matière de litiges avec l’administration et les forces de police, de défense des enfants et de lutte contre les discriminations.