本罪侵犯的客体是公共秩序。所谓公共秩序，就是通过一定的社会结构中人们必须共同遵守的生活规则来维护的公共生活有条不紊的状态。违反了这种公共生活规则，也就打破了公共生活有条不紊的状态。因此，对公共秩序的破坏实质上就是对公共生活规则的违犯。公共生活的内容主要有三个方面:(1)旨在保护人的安全和尊严，特别是保护老幼弱者的安全规则。(2)旨在调节公共场所秩序的纪律规则。(3)旨作维护日常生活中稳定联系和风尚习俗的交往规则。安全规则对人们的社会活动具有普遍的指导意义，因而它也可以贯穿到纪律规则和交往规则之中。纪律规则和交往规则，就其特点、意义而言，分别反映了公共生活规定所调整的两个领域，与之相关联的，公共秩序也就大致可以划分为以下两个方面:即通过纪律规则所调整的公共场所秩序以及通过交往规则所调整的人们在日常生活中的聚众交往和风俗习尚。聚众淫乱违犯了公共生活规则，破坏了公共秩序。在实践中，人们常常感到淫乱犯罪的客体不好理解，认为这类行为除了在光天化日之下大搞淫乱之外，通常都是暗地进行的，并且是互相自愿的，因此不好说就破坏了公共秩序。

聚众淫乱犯罪，是一种违反社会公共生活中的交往规则，败坏社会风俗习尚的行为，它从这个方面破坏了公共秩序，也可以说它破坏了公共秩序中的交往秩序。