La notion d'ensemble de Kazhdan dans un groupe topologique provient de la théorie géométrique des groupes, en lien avec la propriété (T) de Kazhdan. L'existence d'un ensemble de Kazhdan ``petit'' implique une certaine ``rigidité'' du groupe. Dans notre exposé, de type colloquium, , on regardera les ensembles de Kazhdan d'un point de vue de l'analyse fonctionnelle, de l'analyse harmonique et d'un point de vue aléatoire. L'exposé est basé sur des travaux en collaboration avec Sophie Grivaux.