香港科大研究优化视觉评估，提升AI图片压缩显真技术

人工智能领域迎来一项突破性发现：香港科技大學（廣州）廖晨飛團隊聯合多所高校的研究表明，在視覺令牌壓縮任務中，傳統基準測試可能存在嚴重缺陷。這項發表於arXiv平台的研究通過對比實驗發現，簡單圖像縮放方法在現有評估體系下竟能超越複雜壓縮算法，這一反常現象促使研究團隊開發出新型評估框架VTC-Bench。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

多模態大模型處理圖像時需將畫面分解為數萬個視覺令牌，其數量遠超文本令牌。為提升處理效率，科研人員開發了多種壓縮技術，但實驗顯示這些精心設計的算法在現有基準測試中表現平平。研究團隊選取四種典型壓縮方法與簡單縮放進行對比，在七個主流測試集上發現：當壓縮75%數據時，縮放法平均得分達91.0%，而最先進的DART算法僅83.9%；即使壓縮99%極端情況下，縮放法仍保持優勢。

進一步分析揭示，現有測試集包含大量"簡單題"，導致不同方法得分趨同。研究團隊設計對照實驗，用縮放法將測試樣本分為"簡單組"和"困難組"，結果顯示：簡單組中所有方法準確率均超87.6%，而在困難組中複雜算法優勢顯著。這印證了原有評估體系無法區分技術差異的猜想，就像用加減法測試科學計算器般不合理。

基於上述發現，VTC-Bench評估框架應運而生。該框架採用雙軌篩選機制：首先用縮放法進行初篩，僅保留複雜算法能處理而縮放法失效的困難樣本，最終評估僅針對這些樣本進行。這種設計無需新增測試數據，而是從現有資源中提取高價值評估樣本，確保不同壓縮比例下都能精準反映技術差異。

在Qwen2-VL和LLaVA-OV等主流模型上的驗證顯示，新框架成功消除數據噪聲。以ChartQA測試集為例，75%壓縮比例下，VisionZip與FastV的性能差距從8.8%擴大至16.2%；GQA測試集96%壓縮時，差距從0.3%增至9.0%。這種動態適應不同壓縮比例的評估方式，為開發者提供了更精準的算法選擇依據。

技術實現層面，研究團隊選用支持動態分辨率的Qwen2-VL作為篩選模型，確保縮放操作真正減少令牌數量。通過數學公式平衡不同方法的壓縮比例，實驗覆蓋75%至99%的壓縮區間，每個比例生成對應困難子集。這種設計使評估既全面又具有針對性，避免了過去"一刀切"的評估模式。

儘管取得突破，研究團隊也指出當前框架的局限性。過度依賴縮放法作為篩選器可能導致某些任務下困難樣本不足，不同模型對分辨率的敏感度差異也會影響評估普適性。現有測試集均基於英文環境，跨語言評估能力有待驗證。這些發現為後續研究指明了方向，包括開發通用篩選機制和設計多語言評估模塊。

該研究引發的思考遠超技術範疇。當AI系統複雜度呈指數級增長時，評估工具的設計邏輯需要同步革新。VTC-Bench展示的數據過濾思想，為自然語言處理、語音識別等領域提供了新範式——通過精準篩選評估樣本，讓技術差異在更合適的舞台上展現。這種"用對工具測真本事"的理念，或將推動整個人工智能評估體系向更專業的方向發展。

針對公眾關心的核心問題，研究團隊給出明確解答：VTC-Bench並非否定現有測試，而是提供更適配視覺壓縮任務的評估工具；縮放法的"虛假優勢"源於測試題過於簡單；新框架通過三步篩選——並行處理、樣本分類、重點評估，確保複雜算法的技術價值得以客觀呈現。這些創新為AI技術評估樹立了新標杆。