卫斯理为人暴躁，好管闲事，极度主观，敢尝试一切不可知的事物，充满正义感，不平则鸣，因此结交了很多朋友，同时亦得罪很多人。在卫斯理的作品中，他少年时期的经历记载在《少年卫斯理》一书中（不过并不是《卫斯理系列》中的第一本书），初恋情人为祝香香及黎明玫。他先後拜王天兵和扬州疯丐金二为师学习武术。
他约出生於1930年代，于江南地区长大，极有可能是杭州人士，《卫斯理系列》中并没有直接叙述过卫斯理由中国内地移居香港的经过，在系列的第一本小说《钻石花》出场时，他已经定居香港。卫斯理随身戴着一枚紫晶戒指，这是他的个人标志；围住腰际的并不是皮带，而是一条白金丝软鞭。
卫斯理在书中描写他出生在一个富有的大家族里，卫斯理的爷爷是一家之主，人称卫老太爷。至於卫斯理的父母，人们所知不多，猜测可能早逝的关系，只知道他们留下一间进出口公司，挂著董事长的虚衔，并由一位十分精明的经理管理，所以卫斯理基本上不用工作，可以专心冒险。他也有一名十分亲近的叔叔，因为排行第七，所以人称卫七，他为了追查一些事情，化名「贺龙」加入共产党，在战争中连连取胜，官拜司令。
他的乳名叫「斑鸠蛋」，是因为他童年时在田野中找斑鸠蛋，却被一条大蜈蚣在脸上爬过，肿著脸回到家中，涂上了黑色的药膏，从那个时候起，一直到他脱离了童年，人家只叫他「斑鸠蛋」而不叫名。
在《地底奇人》和《卫斯理与白素》中，他的表妹王红红和一生挚爱白素出场，白素是中国帮会青帮最後一任帮主白老大之女儿。她与卫斯理结婚後，生下一名女儿卫红绫（「红绫」在苗语之中意思为野人），但在稚年之时被白素之母陈月兰夺走，两夫妻因此精神崩溃，硬生生忘记自己生过女儿的事实。直到多年之後，两夫妻在苗疆探险时，才找回失散多年的女儿。同时亦得知降头师蓝丝是陈月兰妹妹陈月梅和何先达之女。
他有一名跟随多年的老管家老蔡，照顾卫斯理夫妻的起居饮食。
