语音分词是语音语言模型（LM）的基础，使这些模型能够执行诸如口语建模、文本转语音、语音转文本等任务。大多数语音分词器都是独立于语言模型训练过程进行训练的，依赖于单独的声学模型和量化方法。采用这种方法可能会导致分词过程与其后续使用之间出现不匹配。在本研究中，我们提出了一种新的训练语音分词器的方法，通过利用预训练文本语言模型的目标来实现。我们主张将这一目标整合到学习离散语音表示的过程中。我们的目标是将预训练语音模型的特征转换到一个新的特征空间，以实现更好的聚类效果，从而提高语音语言模型的性能。我们通过实证研究探讨了不同模型设计选择的影响，包括语音词汇量和文本语言模型的规模。研究结果表明，所提出的分词方法在口语建模和语音转文本方面均优于评估的基线方法。更重要的是，与以往的工作不同，该方法允许使用单一预训练的语言模型来处理语音和文本输入，这使其区别于传统的分词方法。