近年来，采用残差连接的更多Transformer模块在各类任务中取得了令人瞩目的成果。为了在减少可训练参数数量的同时提升性能，已有研究提出通过参数共享或沿深度方向进行模型压缩来实现更浅的网络结构。然而，这种策略受限于较弱的建模能力，难以充分发挥性能潜力。相比之下，通过增加模型宽度、引入更多可训练矩阵与参数的方式虽能显著提升模型容量，但往往导致模型规模急剧膨胀，对训练与推理阶段的并行计算能力提出更高要求。本文提出一种参数高效的架构设计思路：通过拓宽模型而非加深模型。具体而言，我们沿用现有方法，在深度方向上引入参数共享以实现压缩。然而，这种设计会限制模型的表达能力。为最大化建模能力，我们转而通过扩展模型宽度来提升性能，核心在于将传统的前馈网络（Feed-Forward Network, FFN）替换为专家混合模型（Mixture-of-Experts, MoE）。此外，在Transformer块之间，我们摒弃了共享归一化层的传统做法，转而为每个块独立配置LayerNorm层，从而以更高效的参数利用方式，灵活地处理不同语义层次的表示。为验证所提出“即插即用”式框架的有效性，我们构建了WideNet模型，并在主流计算机视觉与自然语言处理基准数据集上进行了全面实验。在ImageNet-1K数据集上，我们的最优模型在仅使用0.72倍可训练参数的情况下，相比Vision Transformer（ViT）性能提升1.5%；当参数量进一步压缩至0.46倍和0.13倍时，WideNet仍分别超越ViT与ViT-MoE达0.8%和2.1%。在四个自然语言处理基准数据集上，WideNet平均性能优于ALBERT 1.8%，在使用因子化嵌入参数化策略的情况下，仍以更少的参数量超越BERT 0.8%。本研究证明，通过合理设计宽度扩展机制与参数高效策略，可在显著降低参数量的同时实现对深度模型的性能超越，为高效Transformer架构的设计提供了新思路。