建设档案库房时，应确保不靠外墙的原因是为了防止外部环境对档案的影响。建筑物外墙可能会受到气候、温度、湿度等因素的影响，这些因素都会直接或间接地影响档案的保存。因此，在建设档案库房时，应选择内部位置，以减少外部环境对档案的影响。此外，还应考虑到防火、防水、保护档案安全等因素，以确保档案得到长期有效的保存。