Dès les premières notes, le public est déconcerté. Quelques auditeurs sifflent bientôt et déjà les huées pointent de toutes parts mais, lorsqu'arrive la première interpolation de « son organisé », la salle se déchaîne. Pierre Henry, aux potentiomètres, a beau augmenter le volume au maximum, le vacarme du public redouble : il rugit, hurle, pousse des cris d'animaux, demande le renvoi de Scherchen et surtout d'Henry, éreinte le compositeur et c'est à peine si l'on entend le moindre son (orchestral ou enregistré). Des protestations et des applaudissements répondent aux injures, par vagues, et une bagarre générale éclate. Le chef, imperturbablement dirige l'œuvre jusqu'au bout. La musique s'effondre, malgré ses efforts, sous les cris de protestation d'un public survolté et sous les railleries des plus virulents d'entre eux.

Un tel scandale n'avait plus été vu depuis la mémorable création du Sacre du Printemps de Stravinsky le 29 mai1913 qui avait été donné dans cette même salle du Théâtre des Champs-Élysées. À la fin de la pièce, sous les quolibets et injures, on demande le renvoi de Henry et de Scherchen, mais celui-ci sauve la mise en enchaînant avec la Pathétique tandis que Varèse, furieux « comme un taureau de Camargue, respirant l'air de la nuit »[6] quitte la salle en compagnie de sa future biographe, Odile Vivier, et rejoint Iannis Xenakis qui ne les avait pas accompagnés pour pouvoir enregistrer le concert en direct.

Le lendemain, Varèse est massacré par la presse. Parmi les relevés des journaux, plus ou moins féroces, un critique écrit : « Ce M. Varèse devrait être fusillé séance tenante. C'est le Dominici de la musique! Et puis non, ça ferait encore du bruit, il serait trop content. C'est la chaise électrique qui convient à cet « électrosymphoniste »… ». Un autre critique déclare : « Edgard Varèse, l'homme qui intègre à sa musique les bruits de notre temps, a intégré à son œuvre "Déserts" les bruits de l'émeute que soulève son audition. Car tel est, aux États-Unis comme en France, le propre de l’œuvre du compositeur : elle soulève les passions »[7]. Quant à Hermann Scherchen, il lui fut désormais interdit de diriger quoi que ce soit à Paris.

La réponse de Varèse ne se fait pas attendre. Interviewé à la radio par Georges Charbonnier, il déclare comprendre qu'on puisse ne pas aimer sa musique, mais qu'il aurait fallu pouvoir l'écouter avant de la critiquer si violemment : « Pour la vomir, qu'ils l'aient avalée d'abord ! » (sic). Il dira aussi, en réponse aux critiques, et de manière plus générale : « On peut dire que, jusqu'à nos jours, la France a eu de grands musiciens. Mais elle n'a jamais eu de public musical. »[3],[7].

Immédiatement après la création parisienne, Déserts était créé à Stockholm sous la direction de Bruno Maderna, en présence du compositeur, et obtenait un grand succès auprès du public, avant d'entamer une tournée de concerts aux États-Unis. Varèse pouvait affirmer avec raison : « Aux États-Unis, comme en France, comme partout, il y a des gens qui l'aiment et il y en a qui ne l'aiment pas. Mais tout l'élément jeune l'aime… »[7].