A Biblioteca José de Alencar foi criada pelo professor Afrânio Coutinho em 9 de abril de 1969, e sua inauguração ocorreu com uma Exposição de Obras selecionadas, pertencentes às diversas coleções que integravam o seu acervo.

Naquela ocasião, foi criado e estruturado o Serviço de Documentação e Informação da Faculdade de Letras (SEDIN/FL), na Avenida Chile, com a finalidade de atender às necessidades de ensino, pesquisa e extensão desta Faculdade. Constava das seguintes seções: Biblioteca, Seção de Coordenação Bibliográfica, Seção de Publicações, Seção de Reprografia e Museu de Língua e Literatura. A estrutura do SEDIN/FL foi aprovada e incluída no artigo 142 do regimento da Faculdade de Letras em 1972 (p.49):
“O serviço de documentação, centro de informações e documentação, é  um órgão  de cooperação didática  e de pesquisa  para a realização e aperfeiçoamento das tarefas escolares, em estreita  conexão com os Departamentos e professores.”

O acervo foi constituído das coleções da Biblioteca da antiga Faculdade Nacional de Filosofia, da Biblioteca Central da Universidade e de coleções particulares de maior importância bibliográfica como: Coleção Camoniana, Eciana, Adir Guimarães, Adelino Magalhães, Thiers Martins Moreira, Libia Beider, Serafim da Silva Neto, Olegário Mariano, Aurélio Gomes de Oliveira (Coleção Shakesperiana), Coleção Bastos Tigre, Eugênio Gomes, Eduardo Mattos Portella, Sieglinde Barbosa Monteiro Autran,  Caterina Barone e Leda Papaleo Ruffo.

Em 6 de março de 1985, a Biblioteca José de Alencar foi reinaugurada no campus universitário da Ilha do Fundão e a partir de 17 de abril de 1987, passou a funcionar como Biblioteca Central do Centro de Letras e Artes (CLA/BC), por decisão unânime dos membros que compõem o Conselho de Coordenação do CLA.

Ressalte-se que, em março de 1990, foi instituída pela Congregação da Faculdade de Letras a Comissão de Reestruturação do Serviço de Documentação e Informação. No entanto, em agosto de 1990, foi encaminhado ao Diretor da Faculdade de Letras o Relatório Final, elaborado pela Comissão, com a proposta de sua estrutura e denominação. Depois da aprovação do relatório pela Congregação da Faculdade de Letras e pelo SiBI/ UFRJ,  a Biblioteca  deixou de ser a  Biblioteca Central do CLA  e passou a  funcionar como uma  Biblioteca Setorial  desta  Faculdade.

Em 1994, foram adquiridas as coleções do professor Celso Cunha, uma das coleções mais raras e especializadas do país na área de Filologia, Lingüística e Literatura, localizadas em espaço próprio, e a do professor Afrânio Coutinho, especializada em Literatura e Crítica Literária.

Os exemplares raros, as primeiras edições, as obras autografadas e os livros com edições esgotadas foram reunidos, para melhor acondicionamento e salvaguarda do acervo, no Museu de Língua e Literatura idealizado pelo professor Afrânio Coutinho quando diretor Pró-Tempore da Faculdade de Letras.