深度神經網絡是一種人工智能（AI），可模仿人類大腦處理信息，但了解這些網絡如何“思考”一直是一個挑戰。據外媒報道，日本九州大學（Kyushu University）的研究人員開發出新方法，以了解深度神經網絡如何解釋信息并將其分類。

圖片來源：期刊《IEEE Transactions on Neural Networks and Learning Systems》

相關研究論文發表在期刊《IEEE Transactions on Neural Networks and Learning Systems》。新研究方法解決了確保人工智能系統準確、穩健并能滿足安全使用標準的重要需求。

深度神經網絡通過多層處理信息，類似于人類一步步解決難題。第一層稱為輸入層，用于輸入原始數據。后續層稱為隱藏層，用于分析信息。早期的隱藏層專注于基本特征，例如檢測邊緣或紋理（如檢查單個拼圖塊）。

更深的隱藏層結合這些特征來識別更復雜的模式，例如識別貓或狗（類似于連接拼圖塊以揭示更大的圖景）。

“然而，這些隱藏層就像一個上鎖的黑匣子：我們可以看到輸入和輸出，但里面發生的事情并不清楚，”九州大學信息科學與電氣工程學院副教授Danilo Vasconcellos Vargas表示。“當人工智能犯錯時，這種缺乏透明度的問題就會變得非常嚴重，有時錯誤是由一個像素的微小變化引發的。人工智能可能看起來很聰明，但了解它如何做出決定是確保其值得信賴的關鍵。”

目前，可視化AI如何組織信息的方法依賴于將高維數據簡化為2D或3D表示。這些方法讓研究人員可以觀察AI如何對數據點進行分類——例如，將貓的圖像與其他貓的圖像分組，同時將它們與狗分開。然而，這種簡化帶來了嚴重的局限性。

“當我們將高維信息簡化為更少的維度時，就像將3D對象展平為2D一樣——我們會丟失重要的細節并且無法看到整個畫面。此外，這種可視化數據分組方式的方法使得難以在不同的神經網絡或數據類之間進行比較，”Vargas解釋道。

在這項研究中，研究人員開發了一種新方法，稱為k*分布（k* distribution）方法，可以更清晰地可視化和評估深度神經網絡將相關項目歸類在一起的效果。

該模型的工作原理是為每個輸入的數據點分配一個“k*值”，該值表示到最近的不相關數據點的距離。高k*值表示數據點分離良好（例如，一只貓遠離任何狗），而低k*值表示可能重疊（例如，一只狗比其他貓更靠近一只貓）。當查看一個類別中的所有數據點（例如貓）時，這種方法會產生k*值的分布，從而提供數據組織方式的詳細圖片。

“我們的方法保留了高維空間，因此不會丟失任何信息。這是第一個也是唯一一個能夠準確了解每個數據點周圍‘局部鄰域’的模型，”Vargas強調道。

研究人員利用新方法發現，深度神經網絡將數據分類為聚類、破碎或重疊排列。在聚類排列中，相似的項目（例如貓）緊密地分組在一起，而不相關的項目（例如狗）則明顯分開，這意味著人工智能能夠很好地對數據進行分類。

然而，破碎排列表明相似的物品分散在廣闊的空間中，而當不相關的物品位于同一空間時，就會出現重疊分布，這兩種排列方式都更容易導致分類錯誤。

Vargas將其與倉庫系統進行了比較：“在一個組織良好的倉庫中，相似的物品存放在一起，使檢索變得簡單而高效。如果物品混在一起，它們會變得更難找到，從而增加了選擇錯誤物品的風險。”

人工智能越來越多地應用于自動駕駛汽車和醫療診斷等關鍵系統，在這些系統中，準確性和可靠性至關重要。k*分布方法可幫助研究人員甚至立法者評估人工智能如何組織和分類信息，從而找出潛在的弱點或錯誤。

這不僅支持將人工智能安全地融入日常生活所需的合法化進程，而且還提供了有關人工智能如何“思考”的寶貴見解。通過確定錯誤的根本原因，研究人員可以改進人工智能系統，使其不僅準確而且強大——能夠處理模糊或不完整的數據并適應意外情況。

“我們的最終目標是創建即使面臨現實世界場景的挑戰也能保持精確性和可靠性的人工智能系統，”Vargas總結道。