Ada banyak versi istilah tasawuf menurut bahasa. Ada yang mengatakan tasawuf berasal dari bahasa Arab yang artinya menjadi berbulu banyak yang maksudnya menjadi sufi yang berciri khas pakaiannya selalu terbuat dari bulu domba (wol).
Namun, makna tasawuf menurut bahasa tersebut diperselisihkan para ahli, menurut mereka kata ‘tasawuf’ berasal dari sebagai berikut.
Pertama, tasawuf berasal dari kata shuf artinya wol kasar sebagai lambang kesederhanaan. Hal tersebut sebagai reaksi kehidupan mewah yang dinikmati birokrat penguasa, baik penguasa Bani Umayyah maupun Bani Abbas. Kaum sufi menghindari kemaksiatan dan penyelewengan terhadap contoh teladan Rasulullah SAW. Mereka mengasingkan diri dan tekun beribadah serta lebih mengutamakan kesucian jiwa. Pertama kali sufi muncul di Kufah dan Bashrah. Sufi yang di Kufah diantaranya Sufyan Ats-Tsuri (w. 135 H), Abu Hasyim (w. 150 H), dan Jabir bin Hayyan (w. 190 H). Sedangkan di Bashrah sufi yang bercorak lebih ekstrem seperti Hasan Al-Bashri (w. 110 H), Rabiah Al-Adawiyah (w. 183 H).
Kedua, tasawuf berasal dari shafa, artinya bersih. Sufi memiliki hati yang tulus dan bersih di hadapan Tuhannya. Tujuan sufi adalah membersihkan batin melalui latihan-latihan yang lama dan ketat.
Ketiga, tasawuf berasal dari istilah ahlu ash-shufah, yaitu orang-orang yang tinggal di samping masjid Nabi di Madinah. Mereka miskin yang hijrah ke Madinah, mereka tidur di atas batu pelana (as-ashufah) sebagai bantal.
Keempat, tasawuf berasal dari Yunani ‘sophos’ yang artinya hikmah. Akan tetapi huruf s kalau ditransliterasikan ke bahasa Arab menjadi sin bukan shad.
Kelima, tasawuf berasal dari kata shaf yang dinisbahkan kepada orang-orang yang ketika shalat selalu berada pada shaf terdepan.
Keenam, tasawuf berasal dari kata ash-shifatu karane para sufi mementingkan sifat terpuji dan berusaha meninggalkan sifat tercela.
Ketujuh, tasawuf berasal dari shaufanah, maknanya sebangsa buah-buahan kecil yang berbulu, banyak tumbuh di padang pasir tanah Arab, di mana pakaian kaum sufi berbulu bulu seperti buah itu, mengartikan kesederhanaannya.
Dari ketujuh di atas, yang paling mudah diterima saat ini adalah term pertama yaitu shuf. Mereka yang memakai term pertama ini antara lain Al-Kalabadzi, Asy-Syukhrawardi, Al-Qusyairi, dan lain-lain, meski kenyataannya tidak semua sufi memakai pakaian wol.
