arXiv於2026年11月6日同日發佈兩項關於大模型壓縮的研究，分別從量化精度分配和參數表示自由度兩個角度降低模型部署成本。TileQuant提出以硬件對齊的二維權重瓦片作為混合精度分配單元，實驗顯示其生成吞吐達到原模型的2.66倍；另一項名為“Neural Compression over Equivalence Classes: Exact Gauges and Functional Rate-Distortion”的工作則利用網絡參數化的等價類自由度，在SmolLM2與Qwen3上將Zstandard壓縮後的檢查點體積最多減少23.4%。

TileQuant：以瓦片為精度分配單元

論文指出，訓練後量化（PTQ，Post-Training Quantization）雖能降低大語言模型部署成本，但保持質量需考慮權重敏感度的不均勻性。統一PTQ使用單一權重位寬，重要性感知PTQ在該位寬內調整縮放或重建權重，按列混合精度則保留部分列於更高精度。然而敏感度在列內亦有變化，整列保留會同時保護較不敏感的權重，而運行時異常值檢測又會增加解碼開銷。

為此，TileQuant提出一種免訓練框架，將精度分配給硬件對齊的二維權重瓦片。離線校准提供兩種評分：基於前向統計的輸入激活感知評分，校准成本更低；基於損失敏感度的梯度信息評分，質量保持更強。在每個投影的保留預算內，得分最高的瓦片保持16位，其餘使用8位。

實驗顯示，TileQuant達到原模型2.66倍的生成吞吐。在語言建模、推理、長上下文檢索和問答任務中，它保持質量，並在多個任務上超過量化模型和原模型。

等價類壓縮：利用表示自由度

另一篇論文指出，神經網絡對同一或近似同一函數存在多種參數化方式，但部署時通常只存儲訓練恰好產生的參數向量。研究顯示，這種表示自由本身可用於壓縮。方法不重新設計編解碼器，而是搜索精確保持函數的變換和受控的函數擾動，用未改動的物理壓縮器本身選擇更廉價的表示。

論文稱，精確規範族在嚴格審計下提供零失真參考；允許微小函數變化則帶來更大的率失真增益。在SmolLM2和Qwen3上，該方法將Zstandard壓縮後的檢查點體積最多減少23.4%，在gzip、Brotli和ZipNN下也有相近的相對縮減，從而將訓練網絡的表示自由確立為一種實用的存儲資源。

共同指向推理成本痛點

兩項研究均針對大模型部署中的成本問題：TileQuant側重通過混合精度量化提升推理吞吐並保持質量，等價類壓縮則側重減小存儲檢查點體積。前者為免訓練框架，後者利用表示自由度而不改動壓縮器，二者從不同環節降低部署開銷。

後續關注點包括：TileQuant在不同模型架構和硬件上的通用性，以及等價類方法在更多模型系列和壓縮器下的表現。兩項工作均以arXiv預印本形式發佈，尚未經過同行評審。