说背叛可以，说自保也行。这是问题的角度不同，如果从刘邦的角度来看，卢绾忘恩负义，背叛了自己。而从卢绾的角度来看，刘邦对异姓诸侯赶尽杀绝，连自己这个发小都不放过。
卢绾者，丰人也，与高祖同里。卢绾亲与高祖太上皇相爱，及生男，高祖、卢绾同日生，里中持羊酒贺两家。——《史记·韩信卢绾列传》
卢绾是刘邦的同乡，也是丰沛人，刘邦的父亲刘太公和卢绾的父亲卢太公关系很好，两个人是同年同月同日生，因此他们满月的时候，刘太公和卢太公为他们专门办了满月酒，邀请乡里的人都来，于是乡里的人杀猪宰羊来祝贺。
及高祖、卢绾壮，俱学书，又相爱也。——《史记·韩信卢绾列传》
这说明两家旗鼓相当，在丰沛之地大家都要给个面子，两个人小的时候就在一起玩，有谁欺负卢绾，刘邦还要替他兄弟出头。两个人到了壮年后，又在一起读书识字，关系更加紧密。
高祖为布衣时，有吏事辟匿，卢绾常随出入上下。——《史记·韩信卢绾列传》
刘邦没做官时，经常捅娄子，要躲避官吏的追捕，这个时候，卢绾就陪在他的左右，做他的护卫，还常替刘邦打掩护，为此也挨了不少板子。
及高祖初起沛，卢绾以客从，入汉中为将军，常侍中。——《史记·韩信卢绾列传》
到了刘邦在丰沛起兵，卢绾以门客的身份跟随，进入汉中后卢绾成为将军，常伴随在刘邦左右。
从东击项籍，以太尉常从，出入卧内，衣被饮食赏赐，群臣莫敢望，虽萧曹等，特以事见礼，至其亲幸，莫及卢绾。绾封为长安侯。——《史记·韩信卢绾列传》
卢绾跟随刘邦一起对抗项羽，以太尉的身份跟随在刘邦的左右，要知道太尉相当于军中的最高统帅，但卢绾却没有出色的军事才能。卢绾出入刘邦卧处非常随意，根本不需要通报，他所得到的赏赐也是其他人所不能比的。像萧何、曹参这样的重臣，见到刘邦要以礼相见、不敢造次，而卢绾则不然，他和刘邦打打闹闹，刘邦也不介意，所以说卢绾得到的宠幸，没有大臣能比得了。卢绾后来被封为长安侯，本来刘邦是想封他为王的，但卢绾实在没有拿得出手的功劳，所以刘邦就给卢绾创造了一个机会。
及虏臧荼，乃下诏诸将相列侯，择群臣有功者以为燕王。群臣知上欲王卢绾，皆言曰：“太尉长安侯卢绾常从平定天下，功最多，可王燕。”诏许之。汉五年八月，乃立卢绾为燕王。诸侯王得幸莫如燕王。——《史记·韩信卢绾列传》
燕王臧荼造反，刘邦让卢绾去平定，这个时候的臧荼已经是强弩之末，谁去都可以搞定，刘邦目的就是给卢绾个立功的机会。燕王臧荼抓住后，刘邦故意说：“这次要封有功之人为王！”大家都知道他想封卢绾，于是说太尉卢绾跟随您多年，功劳很大，可以封为燕王。刘邦心想“算你们知趣！”于是立卢绾为燕王，卢绾得到的宠幸比所有的诸侯王都多。
汉十二年，东击黥布，豨常将兵居代，汉使樊哙击斩豨。其裨将降，言燕王绾使范齐通计谋於豨所。——《史记·韩信卢绾列传》
刘邦屠戮诸侯王的行动开始了，在讨伐代地陈豨的行动中，陈豨的手下举报说燕王卢绾曾经和陈豨串谋。
高祖使使召卢绾，绾称病。——《史记·韩信卢绾列传》
刘邦召卢绾进京，但卢绾说自己有病无法进京，实际上他对这位曾经的大哥心存疑虑，自己也是诸侯王，去了京城不是送死吗？我可不傻！
上又使辟阳侯审食其、御史大夫赵尧往迎燕王，因验问左右。——《史记·韩信卢绾列传》
刘邦又让审食其和赵尧去见卢绾，告诉他不要害怕，刘邦只是问问情况，并不打算对他怎么样。但审食其和赵尧出了传达刘邦的旨意外，还询问了卢绾的左右近身之人，这让卢绾想到了韩信舍人出手状告韩信谋反，于是吕雉才有了处死韩信的借口，这个把戏想用在我头上？休想！
绾愈恐，闭匿，谓其幸臣曰：“非刘氏而王，独我与长沙耳。往年春，汉族淮阴，夏，诛彭越，皆吕后计。今上病，属任吕后。吕后妇人，专欲以事诛异姓王者及大功臣。”乃遂称病不行。——《史记·韩信卢绾列传》
卢绾很恐惧，躲起来不让人找到自己。对他身边的近臣们说：“非刘氏为王的人里面，除了我就是长沙王了，韩信、彭越都被杀了，这都是吕雉的主意，如今陛下病了，吕雉说了算，这个妇人太狠，专门屠杀异姓诸侯和功臣！我只好称病不去，保住性命在说！”这些话都被审食其知道。
辟阳侯归，具言绾反有端矣。二月，使樊哙、周勃将兵击燕王绾，赦燕吏民与反者。——《史记·高祖本纪》
审食其是吕雉的死党，他回到京城把这些材料交给了吕雉，吕雉添油加醋的说给刘邦，刘邦在病中难以分辨，于是令樊哙和周勃讨伐卢绾，樊哙是刘邦妯娌，他老婆是吕雉的妹妹吕嬃，卢绾要是落到他手里只有死路一条。万般无奈下，卢绾只好带人逃到燕国与匈奴的边境，想等刘邦病情好转后去解释。
但卢绾没有等来刘邦病愈的消息，却得到了刘邦去世的消息，“这下完了！”卢绾知道自己没有退路，吕雉一心想把自己干掉，于是他为了保命，选择了投靠匈奴人，做了可耻的叛徒。