大規模言語モデル（LLM）は広範な世界知識と強力な汎用的推論能力を備えている一方で、標準的な機械学習（ML）タスクにおいて、勾配降下を用いずに文脈内学習（ICL）のみで多数の例から学習するという点で困難を抱えている。すなわち、多くのショットのデモンストレーションを文脈内でのみ活用して学習する能力に課題がある。本研究では、汎用LLMに堅牢な文脈内ML能力を付与しつつ、その一般知識や推論能力を維持する、ポータブルな継続的事前学習フレームワーク「MachineLearningLM」を提案する。我々の事前学習プロセスは、数百万個の構造的因果モデル（SCM）からMLタスクを合成し、ショット数は最大1,024までカバーする。まず、ランダムフォレストを教師モデルとして用い、木ベースの意思決定戦略をLLMに蒸留することで、数値モデリングにおける堅牢性を強化する。すべてのタスクは、トークン効率の高いプロンプト形式でシリアライズされ、文脈ウィンドウあたりの例数を3倍から6倍に増加させ、バッチ推論により最大50倍のアモリタイズドスループットを達成する。わずかな設定（Qwen-2.5-7B-Instruct + LoRAランク8）で、MachineLearningLMは、金融、物理学、生物学、医療といった多様なドメインにおける分布外のテーブル分類タスクにおいて、強力なLLMベースライン（例：GPT-5-mini）と比較して平均で約15%の性能向上を達成した。また、驚くべき多数ショットスケーリング則を示しており、文脈内デモンストレーション数が8から1,024に増加するにつれて、精度が単調に向上する。特定タスク向けの訓練を一切行わずに、数百ショットの範囲でランダムフォレストレベルの精度に到達した。さらに、一般向けチャット機能（知識・推論能力）は維持されており、MMLUでは75.4%のスコアを達成した。