首頁?學習  »   正文

PySyft與隱私深度學習的興起

PySyft與隱私深度學習的興起

信任是實現深度學習應用程序的關鍵因素。從培訓到優化,深度學習模型的生命周期與各方之間的可信數據交換相關聯。這種動態對于實驗室環境當然是有效的,但是結果容易受到各種各樣的安全攻擊,這些攻擊操縱模型中不同參與者之間的信任關系。讓我們以信用評分模型為例,該模型使用金融事務對特定客戶的信用風險進行分類。傳統的培訓或優化模型的機制假定,執行這些操作的實體將完全訪問這些金融數據集,從而為各種隱私風險打開大門。隨著深度學習的發展,在數據集和模型的生命周期中,對加強隱私約束的機制的需求變得越來越重要。在試圖解決這一重大挑戰的技術中,PySyft是最近在深度學習社區中逐漸獲得吸引力的框架。

隱私在深度學習應用中的重要性與分布式、多方模型的出現直接相關。深度學習解決方案的傳統方法依賴于控制模型整個生命周期的集中各方,即使使用大型分布式計算基礎設施也是如此。這是一個創建預測模型的組織的情況,該模型管理訪問其網站的客戶的偏好。然而,事實證明,集中式深度學習拓撲在移動或物聯網(IOT)等依賴大量設備生成數據和執行模型的場景中是不切實際的。在這些場景中,不僅經常生成敏感數據集,而且還執行和評估深度學習模型的性能。這種動態要求負責創建、培訓和執行深度學習模型的各方之間建立雙向隱私關系。

推動者

多年來,深度學習模型中的隱私一直是一個眾所周知的問題,但能夠提供解決方案的技術目前才具有一定的可行性。以PySyft為例,該框架利用了過去十年機器學習和密碼學中最引人入勝的三種技術:

  • 安全多方計算
  • 聯合學習
  • 差異隱私

安全多方計算

安全多方計算(sMPC)是一種加密技術,允許不同的方對輸入進行計算,同時保持這些輸入是私有的。在計算機科學理論中,SMPC經常被看作是解決上世紀80年代計算機科學家安德魯·姚提出的著名的姚明百萬富翁問題的一種方法。這個問題描述了一個環境,在這個環境中,許多百萬富翁想知道哪一個更富有,而不披露他們的實際財富。百萬富翁的問題存在于許多現實場景中,如拍賣、選舉或在線游戲。

從概念上講,sMPC用安全計算替代了對可信中介的需求。在sMPC模型中,一組具有私有輸入的參與方計算分布式函數,如公平性、隱私性和正確性等安全屬性,這些函數得到了保留。

PySyft與隱私深度學習的興起

聯合學習

聯合學習是一種新的學習體系結構,適用于在高度分布式拓撲(如移動或物聯網)系統中運行的人工智能系統。聯合學習最初是由谷歌研究實驗室提出的,它是集中式人工智能培訓的替代方案,在集中式人工智能培訓中,共享的全局模型在參與設備聯合的中央服務器的協調下進行培訓。在該模型中,不同的設備可以在保持設備中大部分數據的同時,對模型的培訓和知識做出貢獻。

在聯邦學習模型中,一方下載一個深度學習模型,通過學習給定設備上的數據來改進它,然后將更改總結為一個小的重點更新。只有對模型的此更新使用加密通信發送到云,在云中立即與其他用戶更新進行平均,以改進共享模型。所有的培訓數據都保留在原始設備上,沒有單獨的更新存儲在云中。

PySyft與隱私深度學習的興起

差異隱私

差異隱私是一種技術,用于限制統計算法對數據屬于較大數據集一部分的受試者隱私的影響。粗略地說,如果觀察者看到一個算法的輸出,卻不能判斷是否在計算中使用了某個特定個體的信息,那么該算法就是差分私有的。差異隱私通常在識別其信息可能在數據庫中的個人時討論。雖然它不直接涉及識別攻擊和再識別攻擊,但差分私有算法能夠抵抗這種攻擊。

PySyft與隱私深度學習的興起

PySyft

PySyft是一個框架,它支持在深度學習模型中進行安全的、私有的計算。PySyft將聯合學習、安全多方計算和差異隱私結合在一個編程模型中,集成到不同的深度學習框架中,如PyTorch、Keras或TensorFlow。PySyft的原理最初是在一篇研究論文中概述的,它的第一個實現是由OpenMind領導的,OpenMind是領先的分散人工智能平臺之一。

PySyft的核心部分是一個叫做syft的抽象張量。Syfttenators用于表示數據的狀態或轉換,可以鏈接在一起。鏈結構的頭部總是有一個PyTorch張量,SyftTensors所包含的轉換或狀態使用子屬性向下訪問,使用父屬性向上訪問。

PySyft與隱私深度學習的興起

使用PySyft相對簡單,與您的標準PyTorch或Keras程序沒有太大區別。下面的動畫演示了一個使用PySyft的簡單分類模型。

PySyft與隱私深度學習的興起

PySyft代表了在深度學習程序中啟用強大隱私模型的首批嘗試之一。最后,我想說的是,隨著空間的發展,隱私很可能成為下一代深度學習框架的基本構件之一。

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論