根据《中华人民共和国劳动合同法》的规定，中国企业应当对与劳动者订立的劳动合同、保管的相关档案材料以及其他记录等进行妥善保管。关于离职员工的劳动合同，公司需要保存一定的时间。因此，越南籍员工也应适用同样的规定。
具体参考：
保存期限：根据《中华人民共和国劳动合同法实施条例》第六十二条的规定，用人单位应当自劳动合同终止或者解除之日起至少保存两年。
具体法律条文：
《中华人民共和国劳动合同法实施条例》第六十二条：用人单位应当依法建立、健全职工名册、劳动合同、工资支付记录、考勤记录、社会保险缴纳记录等档案管理规定，自劳动合同终止或者解除之日起至少保存两年。
因此，越南籍员工离职后的劳动合同，公司需要按照这个法律条文的要求，至少保存两年。建议公司在保存劳动合同过程中，遵守法律规定，并妥善保管相关资料以备查验。