Brown komt uit de jeugdacademie van West Bromwich Albion. Op 4 mei 2013 debuteerde hij daarvoor op zestienjarige leeftijd in de Premier League, tegen Wigan Athletic. Hij viel na 86 minuten in voor Youssouf Mulumbu om een 2-3-achterstand goed te maken, wat niet lukte. Chelsea nam Brown in juli 2013 transfervrij over. In de voorbereiding op het seizoen 2014/15 was hij op 16 juli 2014 tweemaal trefzeker in een oefenwedstrijd tegen Wycombe Wanderers.
Chelsea verhuurde Brown in juli 2015 voor een jaar aan Vitesse.[1] Hiervoor maakte hij op 30 juli 2015 zijn debuut, uit tegen Southampton in de derde voorronde van de Europa League. Hij verlengde in juli 2017 zijn contract bij Chelsea tot medio 2021.
In het seizoen 2021/22 stond Brown onder contract bij Preston North End. Hij werd geplaagd door blessures en beëindigde daarom op 6 april 2023 zijn loopbaan.
Brown speelde twee interlands voor Engeland -16, waarin hij één keer scoorde. Daarnaast scoorde hij vier doelpunten in zestien interlands voor Engeland -17.