Wanneer werd aangekondigd dat er een 'B-side And Rarities' album aankwam, merkte iemand op Twitter het volgende op: “B-sides record? Why would Beach House put out a B-sides record? Their A-sides are like B-sides.” En die persoon heeft een punt. Het doel van Beach House was geen commerciële muziek maken. De voorbije jaren maakte de groep 6 LP's. Het waren niet de 'beste' of meest catchy songs, maar ze hoorden samen als één geheel. Dat wil niet zeggen dat dit album songs bevat die de groep niet graag hoorde of nie trots op was, maar nummers die op dat moment niet in het geheel pasten.