Kata pencil berasal dari bahasa Latin, penicillus, yang artinya ekor kecil karena bentuknya memang seperti kuas kecil. Pensil yang kita kenal sekarang adalah sebuah alat tulis berbentuk batang, berwarna hitam, dan dilapisi kayu di bagian luar. Bahan hitam itu adalah grafit.
Grafit berasal dari bahan batuan yang didapat dengan cara menambang. Grafit ditemukan sekitar 500 tahun yang lalu di daerah Cumberland, Inggris.
Orang pertama yang menggunakan hasil tambang sebagai bahan pensil adalah keluarga Faber yang tinggal di Jerman. Keluarga ini memulai usaha pembuatan pensil grafit pada tahun 1760. Namun sayang, usaha Faber kurang sukses. Orang tidak suka menggunakan pensil Faber karena mudah patah dan mengotori tangan.
Pada tahun 1895 NJ Conte menyempurnakan pensil buatan Faber. Agar pensil tidak mudah patah, grafit dicampur dengan air dan tanah liat, lalu dicetak kecil-kecil panjang, kemudian dibakar sehingga didapat tingkat kekerasan yang diinginkan. Hasilnya memuaskan, pensil tidak mudah patah dan tangan tidak kotor. Orang pun dengan senang hati menggunakan pensil.