一套完整的视频会议系统通常由视频会议终端、多点控制单元MCU、网络管理软件、传输网络以及相关附件五大部分构成。视频会议终端将输入进来的视频、音频、数据、控制信令进行单独编码，然后将编码后的数据进行“复用”打包后形成遵循网络协议的数据包，通过网络接口传到MCU供选择广播。从MCU传来的其他会场的数据包通过“解复用”，分别还原成视频、音频以及数据及控制信令分别相应的输出设备上回显或执行，这便是视频会议终端的工作过程。
       视频会议终端工作过程有两处需要强调：一是音频数据量（小于等于64K）远远小于视频的数据量，编码的时延也比视频时间短。因此在早期的视频会议系统中经常会出现听到声音后很久才看到人嘴动的情况。业界术语叫唇音同步。现在的视频会议知名品牌都在音频编码后加入一定的时延，唇音同步问题已完全解决。二是在传输的信息里面，优先级的排列顺序为：音频-->视频-->控制信令-->数据。因为会议以说话为主，在网络拥塞时，画面可能会有马塞克，但会议的声音必然首先保证是连贯和清晰的。

       除终端外还有个关键组成部分，即MCU，中文翻译为多点控制器，是视频会议系统中的关键设备，作用相当于一个交换机。它将来自各会议场点的信息流，经过同步分离后，抽取出音频、视频、信令和数据信息，并将各会场的信息和信令送入同一处理模块，完成相应的音视频混合与切换，以及数据广播、路由选择、定时和控制接入等过程，最后将各个会场的各种信息重新组合起来，送往各个相应的终端系统设备。