Em 1855, membros de um clube de Críquete de Sheffield organizaram pontapés informais sem quaisquer regras oficiais. Posteriormente, dois membros do clube de críquete, Nathaniel Creswick e William Prest, formaram o Sheffield Football Club.

A reunião de fundação ocorreu em 24 de outubro de 1857 em Parkfield House, no subúrbio de Highfield, Sheffield. A sede original era uma estufa na East Bank Road emprestada a eles por Thomas Asline Ward, pai do primeiro presidente do clube, Frederick Ward, e o campo adjacente foi usado como seu primeiro campo de jogo. Inicialmente, as primeiras partidas do Sheffield FC eram disputados entre os próprios membros do clube e tomaram o formato de "Casados contra Solteiros" ou "Profissionais contra o Resto".
Creswick e Prest foram responsáveis pela elaboração das regras de jogo do clube, que foram decididas na AGM do clube em 21 de outubro de 1858, e publicadas no ano seguinte (foto abaixo). Foram referidos como as Regras de Sheffield, sendo o primeiro conjunto detalhado de regras de futebol a ser publicado por um clube de futebol (em oposição a uma escola ou universidade). Na época, antes da formação da Football Association (FA), muitos tipos diferentes de futebol eram populares na Inglaterra. Por exemplo, cada uma das várias escolas públicas jogava futebol de acordo com suas próprias regras individuais, e estas variavam amplamente. As Regras de Sheffield foram mais tarde adotadas pela Sheffield Football Association quando foi fundada em 1867.
Escrito por Nathaniel Creswick (esquerda) e William Prest (direita), o Livro de Regras de 1859 é o primeiro conjunto de regras e leis para o futebol e definiu as invenções de um pontapé de canto, lançamento, pontapélivre, trave e faltas.
Vizinho próximo de Sheffield, o Hallam FC foi formado em 1860 e, no mesmo ano, os dois clubes se encontraram pela primeira vez em um Derby Local que ainda é disputado até os dias atuais.
Ambos os clubes se tornaram membros da Associação de Futebol em 30 de novembro de 1863, mas continuaram a usar seu próprio conjunto de regras. Em 2 de janeiro de 1865, o clube jogou sua primeira partida fora de Sheffield contra o Nottingham sob as Regras de Nottingham.
A essa altura, o clube havia decidido apenas jogar contra equipes fora de Sheffield, a fim de buscar um desafio maior. Em 31 de março de 1866, o Sheffield jogou contra um time de Londres sob as Regras da FA no Battersea Park. O jogo, disputado como um onze à parte, foi vencido por Londres por 2 gols e quatro rouges a zero (Rouge eram gols perdidos pela equipe que chutava a gol, mas que teria que passar abaixo das traves do goleiro em uma espécie de linha imaginária). No entanto, a questão das regras sendo disputadas em todo o país foi resolvida e adaptadas pelo Sheffield FC com regras da FA em 1878.
Em 1860, no Boxing Day, o Sheffield faz sua primeira partida entre clubes contra o Hallam FC (também da cidade de Sheffield) em Sandygate Lane, tornando-se assim o primeiro e mais antigo derby local no futebol mundial. O Sheffield venceu esta partida por 2 a 0. Este legado tem vivido desde então, com ambas equipes competindo entre si em um amistoso a nível amador todos os anos. Cinco anos mais tarde faz o primeiro jogo fora de sua cidade. Vai jogar em Nottinghamshire, no Meadows Cricket Ground, e vence por 1 a 0 a equipe do Nottingham.
O ano de 1867 é marcado com a aparição do primeiro torneio de futebol da história em que envolvia três ou mais times, a
Youdan Cup, que foi jogada sobre as Regras / Leis / Regulamentos do Sheffield FC, e que teve a participação de 12 equipes, todos da cidade. Curiosamente o Sheffield FC não participou.
Sir Charles Clegg, também conhecido como "Napoleão do Futebol", e atleta do clube, joga na primeira partida internacional de futebol realizada em 1872, entre as seleções da Inglaterra e Escócia. Anos mais tarde (1890) ele se torna Presidente da FA (Federação Inglesa).
Em 1873 (temporada 1873/74) estréia na Copa da Inglaterra, sendo eliminado nas quartas de final pelo Clapham Rovers. Eis os resultados:
30.10.1873- Sheffield 0 x 0 Shropshire
17.11.1873- Shropshire 0 x 0 Sheffield. Após empate nas duas partidas, o Sheffield passou de fase em decisão por "sorteio".
22.11.1873- Sheffield 1 x 0 Pilgrims
17.01.1874- Clapham Rovers 2 x 1 Sheffield
Com a introdução do profissionalismo em julho de 1885 começa o declínio do futebol do clube, que não consegue competir com equipes profissionais, sendo derrotado em muitos jogos naquele ano para Aston Villa, Nottingham Forest e Notts County. Neste mesmo ano, em 10 de fevereiro, William Prest morre aos 52 anos de uma convulsão fatal devido um vaso sanguíneo rompido.
O ano de 1904 é celebrado com a conquista da FA Amateur Cup após vitória por 3 a 1 sobre o Earling, para um público de mais de 6 mil torcedores. Foi uma campanha com resultados históricos: 4 a 1 Loughborough Corinthians (2ª fase); 7 a 0 Darlington St Augustines (nas quartas de final); 5 a 2 Bishop Auckland (na semifinal); e 3 a 1 Earling. Final disputada no Valley Parade, Bradford City, no dia 04/04/1904.
O Sheffield FC vencedor da FA Amateur Cup (Taça de Amadores) temp. 1903/04. Jogadores: Bolsover, Chambers, Milnes, Percy Green, Potts, Frost, Sylvester, Bedford, Hoyland, Hoyland F.E., Forsdyke.
No mês de outubro de 1917 o segundo idealizador do clube, Nathaniel Creswick, morre aos 86 anos.

Em 1957 o clube comemora o seu centenário no Cutlers Hall, com a presença de SAR o Duque de Edimburg e Sir. Stanley Rous. Além disso, um Concerto de Celebração com Lonnie Donegan foi organizado para entreter e envolver os cidadãos de Sheffield. Também uma partida de futebol contra o Queen's Park é realizada no Bramall Lane Ground.
No ano de 2007, o clube celebra seu 150° aniversário com um Serviço ao Futebol, com a presença de muitos cavalheiros famosos e célebres da comunidade mundial do futebol, todos celebrando este dia lendário juntamente com o Sheffield Football Club.
Entre tantas presenças ilustres, Pelé, Joseph Blatter e Sir Bobby Charlton juntam-se ao jantar de aniversário do clube.
Equipes mundialmente famosas Internazionale Milão e Ajax Amsterdam enviam equipes para jogar com o clube como parte das comemorações. Contra a equipe do Inter perdeu por 5 a 2 para um público de 18.741 torcedores. Neste mesmo ano o Sheffield ganha a promoção como vice campeão da Northern Counties East League Premier Division para disputar a Premier League do Norte, onde joga desde então.
Títulos
FA Amateur Cup: 1903-04
Whitbread Trophy: 1987–88
Yorkshire League - League Cup: 1977–78
Yorkshire League - Division Two champions: 1976–77
Northern Counties East Football League - Division One: 1988-89 e 1990-91
Copa da Northern Counties East Football League - League Cup: 2000-01 e 2004-05
Sheffield and Hallamshire Senior Cup: 1993–94, 2004–05, 2005–06, 2007–08 e 2009–10
Campos e estádios do clube
1857 a 1873- Strawberry Hall Lane Park, Sheffield
1873 a 1884- Bramall Lane, Sheffield
1884 a 1889- Old Forge Ground, Attercliffe
1889 a 1897- Ecclesall Road, Sheffield
1897 a 1901- Owlerton Ground, Owlerton, Sheffield
1901 a 1921- Niagara Ground, Wadsley Bridge
1921 a 1988- Abbeydale Park, Dore
1988- Hillsborough Park, Hillsborough, Sheffield
1989- Owlerton Stadium, Owlerton, Sheffield
1990 a 2001- Don Valley Stadium, Sheffield
2001 ao presente momento: Coach & Horses Ground, Dronfield