This paper proposes a lightweight video semantic communication (LVSC) method to enable end-to-end wireless video transmissions. The proposed LVSC method cuts down the model parameters through designing a spatial pyramid structure for the residual codec and a one-dimensional CNN-based channel attention model for the joint source-channel coding (JSCC) codec, respectively. Additionally, the Swin Transformer is introduced to the JSCC codec to accelerate the semantic coding. Extensive experiments validate that the proposed LVSC performs better than the baseline methods in terms of PSNR and MS-SSIM while inferring much faster at the same time.