Klubben bildades av arbetare på en cykelfabrik, och fick då namnet Singers, efter fabrikens namn. Tio år senare blev klubben professionell och 1898 bytte man namn till Coventry City. 1899 flyttade man till Highfield Road, där man kom att spela de närmaste 106 åren. Tidigare hade klubben spelat sina hemmamatcher på Dowells Field och, från och med 1887, Stoke Road.

Under de tidigare åren nådde klubben flera framgångar. Man vann bland annat Birmingham Junior Cup två år i rad, innan man 1894 gick med i Birmingham League. 1908 gick Coventry med i Southern League, och efter första världskriget blev man medlemmar i The Football League. Första säsongen i ligan, 1919/20, slutade Coventry på tjugonde plats i division två. Även de följande åren höll man till i botten av tabellen, innan man 1925 åkte ner i division tre. Under slutet av 1920-talet och början av 1930-talet var Coventry mestadels ett mittenlag i division tre. Man hade dock skyttekungen Clarrie Burton i laget, som bland annat gjorde 40 mål två säsonger i rad. I mitten av 1930-talet började laget klättra i tabellen, och 1936 tog man steget upp i division två. De två sista säsongerna innan andra världskriget (1937/38 och 1938/39) var laget nära att gå upp i division ett, men man slutade på fjärde plats båda gångerna. Efter kriget hade Coventry flera tunga år. 1952 åkte laget ner i division tre och sex år senare åkte man ner i division fyra.

Besöket i division fyra blev dock kortvarigt, och 1960-talet skulle komma att bli ett framgångsrikt årtionde för Coventry. Jimmy Hill anställdes som manager 1961. Samtidigt lanserades en ny himmelsblå matchtröja och klubben fick smeknamnet Sky Blues. 1963 gick Coventry till kvartsfinal i FA-cupen, där man förlorade mot Manchester United. Året efter gick man upp i division ett för första gången. Seriesegern säkrades mot Wolverhampton inför rekordpubliken 51 455 åskådare på Highfield Road. Laget lyckades precis undvika nedflyttning de två första åren, men säsongen 1969/70 kom man på sjätte plats i ligan, vilket är Coventrys bästa placering någonsin.

1987 ledde managern John Sillett Coventry till en överraskande seger i FA-cupfinalen över Tottenham Hotspur med 3–2 efter förlängning. 1988/89 kom man på sjunde plats i ligan – före lag som Manchester United och Tottenham Hotspur. Sedan började det dock gå sämre, och i november 1990 fick Sillett sparken. Terry Butcher kom in som spelande tränare, men han fick sparken i januari 1992. Don Howe ledde laget under resten av säsongen och inför säsongen 1992/93 tog Bobby Gould över. Coventry slutade på 16:e plats i den första säsongen av Premier League. Hösten 1993 började laget bra, och man hoppades kunna ta en plats i UEFA-cupen, men laget sjönk i tabellen, och Gould sade upp sig i december 1993. Han ersattes av den förre Liverpoolbacken Phil Neal, som tog laget till en elfteplats. Trots värvningen av anfallaren Dion Dublin kämpade Coventry åter i botten, och Neal avgick i februari 1995. Ron Atkinson kom in i hans ställe och värvade Leeds mittfältare Gordon Strachan samt Aston Villas Kevin Richardson. Atkinson lyckades hålla kvar Coventry i Premier League innan han blev ny sportchef i november 1996. Gordon Strachan tog över, och klubben höll sig kvar i Premier League till 2001, då man efter 34 år åkte ur högstadivisionen.

Säsongen 2001/02 började inte bra, och Strachan fick sparken och ersattes av Roland Nilsson, som fick vara kvar säsongen ut. Nilsson efterträddes av Liverpoolmittfältare Gary McAllister. Säsongen 2002/03 började bra, men av de 20 sista matcherna vann man bara en och slutade på 20:e plats. McAllister avgick i januari 2004, och assisterande tränaren Eric Black tog över för resten av säsongen. Ny manager inför säsongen 2004/05 blev Peter Reid, men han lämnade klubben i januari 2005, och ersattes av Micky Adams. 2004/05 slutade Coventry på 19:e plats i The Championship.

Inför säsongen 2005/06 flyttade Coventry in i nybyggda Ricoh Arena.

Svenska Spelare: Magnus Hedman, Roland Nilsson och Tomas Gustafsson (Antonelius).