展會信息港展會大全

機器學習模型部署都有哪些坑?劍橋研究者梳理了99篇相關研究
來源:互聯網   發布日期:2020-12-13   瀏覽:13595次  

導讀:機器之心報道 參與:小舟 在生產環境中部署機器學習模型是一個復雜的過程,需要考慮諸多因素,也存在很多挑戰。近日,來自劍橋的研究者梳理了該流程常見的問題。 近年來,機器學習在學術研究領域和實際應用領域得到越來越多的關注。但是,在生產系統中部署機...

機器之心報道

參與:小舟

在生產環境中部署機器學習模型是一個復雜的過程,需要考慮諸多因素,也存在很多挑戰。近日,來自劍橋的研究者梳理了該流程常見的問題。

近年來,機器學習在學術研究領域和實際應用領域得到越來越多的關注。但是,在生產系統中部署機器學習模型存在許多問題和擔憂。近日,來自劍橋的研究者做了一項調查,綜述了在各個用例、行業和應用中部署機器學習解決方案的報告,并提取了機器學習部署工作流程各階段需要實際考量的因素。

論文地址:https://arxiv.org/pdf/2011.09926.pdf

該調查表明,機器學習從業者在部署模型的每一個階段都面臨挑戰。該論文的意義是制定研究議程,以探索解決這些挑戰的方法。

該調查主要考慮了三種類型的論文:

用例研究型論文:這類論文提供單個機器學習部署項目的經過,通常會深入討論作者面臨的每個挑戰以及克服方式。

綜述文章:這類文章描述了機器學習在特定領域或行業中的應用,通?偨Y了在所涉及領域中部署機器學習解決方案最常遇到的挑戰。

經驗總結型論文:作者通常會回顧他們在生產中部署機器學習模型的經驗。

為確保本次調查聚焦當前挑戰,劍橋大學研究人員僅考慮近 5 年發表的論文,只有少數例外。此外,他們還引用了其他類型的論文,例如實踐指導報告、訪談研究、規則制度。需要注意的是,該論文沒有進行新的訪談。

機器學習部署流程

該論文使用 Ashmore 等人 [14] 提出的機器學習部署工作流程定義。根據該定義,在工業環境中開發 ML 解決方案的過程包含 4 個階段:

數據管理:重點是準備構建機器學習模型所需的數據。

模型學習:模型選擇和訓練。

模型驗證:確保模型符合特定功能和性能要求。

模型部署:將訓練好的模型集成到運行模型所需的軟件基礎架構中。此階段還涵蓋模型維護和更新的問題。

以上每個階段還可以進一步細分。但需要注意的是其順序與現實場景未必完全相符,這些階段并行執行或存在反饋循環是很正常的。

本文探討了每個階段會出現的常見問題,以及會對各階段帶來影響的跨領域問題,參見下表:

數據處理

數據是任何機器學習解決方案中不可或缺的部分,訓練和測試數據對解決方案整體效果的影響不比算法少。創建高質量數據集通常是生產級機器學習流程的第一步。該論文介紹了數據管理的四個步驟:數據收集、數據預處理、數據增強和數據分析。

數據收集

數據收集旨在發現和了解可用數據,以及組織數據的存儲結構。發現和尋找數據本身就是一項挑戰,特別是在大型生產環境中。查找數據源并了解其結構是主要任務,對于后續數據科學家開展實際應用開發具有重要作用。

數據預處理

預處理步驟通常涉及一系列數據清洗步驟:插補缺失值、將數據縮減為有序且簡化的形式、從原始格式映射為更便于處理的格式。

數據增強

數據增強的原因有多種,其中最重要的原因之一是數據缺少標簽,F實世界中的數據通常沒有標簽,缺少標注數據的可能因素有三個:專家訪問受限、缺乏高方差(high-variance)數據、數據量過大。

數據分析

數據分析旨在發現數據中的潛在偏差或意外分布。高質量工具對于任何類型的數據分析都至關重要,其中數據剖析(data profiling)的可視化是極具挑戰性的。

模型學習

近年來,機器學習方法的研究傾向于在模型學習階段更好地選擇和使用各種模型和方法。六年來,機器學習頂會 NeurIPS 的論文提交量翻了兩番,從 2014 年的 1678 篇到 2019 年的 6743 篇。盡管如此,模型學習階段仍然受到許多實際因素的影響。本文主要闡明了與模型選擇、訓練和超參數選擇 3 個步驟有關的問題。

模型選擇

在許多實際例子中,模型選擇通常取決于模型的一個關鍵特性:復雜度。盡管深度學習和強化學習在研究界越來越受歡迎,但實際情況中往往會選擇比較簡單的模型。常用的模型包括:淺層網絡架構,基于 PCA 的簡單方法、決策樹、隨機森林。

訓練

模型訓練最受關注的問題之一是因計算資源導致的經濟成本。在自然語言處理(NLP)領域,盡管單個浮點運算的成本在降低,但訓練 NLP 模型的總成本卻在增長。Sharir 等人選擇 SOTA 模型之一 BERT 進行實驗,結果發現根據所選模型的大小,完整訓練過程的經濟成本可能在 5 萬到 160 萬美元不等,而這是大多數研究機構甚至企業無法承受的。此外,訓練數據集的大孝模型參數的數量和訓練過程中用到的操作數量都會對總成本產生影響。值得一提的是,模型參數量是尤其重要的影響因素:新的 NLP 模型已經達到了數十億的參數量,未來這一數字還可能進一步增加。

超參數選擇

除了在訓練過程中學習到的參數以外,許多機器學習模型還定義了一些超參數。超參數優化(HPO)是選擇這些超參數最佳集合的過程。大多數 HPO 技術涉及機器學習模型的多個訓練周期。此外,HPO 任務的規模隨著每個新的超參數呈指數式增長,因為它為搜索空間增加了新的維度。正如 Yang 和 Shami 所說,這些考慮因素使 HPO 技術在實踐中非常昂貴且耗費資源,尤其是對于深度學習的應用而言。即使 Hyperband 和貝葉斯優化這類專門設計用來最小化所需訓練周期的方法,由于模型復雜度和數據集大小等問題,有些問題仍然無法解決。

模型驗證

模型驗證階段的目標是多方面的,因為機器學習模型應該很好地泛化到未見過的輸入,顯示出對邊緣情況的合理處理和整體魯棒性,并滿足所有的功能需求。該論文討論了與模型驗證中的三個步驟需求編碼、形式驗證和基于測試的驗證有關的問題。

需求編碼

定義機器學習模型的需求是測試活動的關鍵前提,但實際情況中經常會發現模型性能提升并不能轉換為商業價值的增益。

形式驗證

形式驗證是指驗證模型功能是否符合項目范圍內所定義的要求。這類驗證包括對其正確性的數學證明,也可以包括輸出誤差范圍的數值估計,但是這種情況實際上很少發生,往往是通過廣泛的監管框架形式化設置高質量標準。

基于測試的驗證

基于測試的驗證旨在確保模型能夠很好地泛化到未見過的數據。盡管收集驗證數據集通常不是問題,但對于生產部署而言這可能還不夠。

模型部署

在生產環境中運行的機器學習系統是復雜的軟件系統,需要根據時間的變化進行維護。這給開發人員帶來了新的挑戰。其中一些挑戰在運行常規軟件服務時也存在,而有些挑戰則是機器學習特有的。

模型集成

模型集成步驟包括兩個主要活動:構建運行模型的基礎架構,以可使用和支持的形式實現模型。前者幾乎是完全屬于系統工程的主題,后者則屬于機器學習領域,它揭示了機器學習與軟件工程交集中的重要問題。

模型監測

模型監測是維護機器學習系統方面的問題之一。社區正處于理解待監測數據和模型的關鍵指標以及如何啟動警報的早期階段。監測不斷變化的輸入數據、預測偏差和機器學習模型的整體性能是一個尚未解決的問題。

該論文強調的另一個維護問題與數據驅動決策有關,即反饋循環。生產級機器學習模型可以通過定期的再訓練影響自己的行為。在確保模型保持最新狀態的同時,我們可以創建反饋循環,即調整模型的輸入以影響其行為。

模型更新

模型完成初始部署后,通常還需要更改,以確保模型始終反映數據和環境的最新趨勢。有多種技術可以使模型適應新數據,包括按計劃定期再訓練和持續學習。但在生產環境中,模型更新會受到多種實際因素的影響。

除了與機器學習模型部署工作流程四階段相關的問題以下,該論文還探討了倫理、用戶信任、安全性相關的問題,詳情參見原論文。

「WAVE SUMMIT+2020 深度學習開發者峰會」由深度學習技術及應用國家工程實驗室與百度聯合主辦,來自行業內的人工智能專家和開發者們將分享 AI 時代的最新技術發展和產業應用經驗,諸多頂級高校人工智能專家將就 AI 人才培養展開對話,AI 開源產品及社區專家也將共話開源趨勢。

本次峰會既有干貨滿滿的分享、討論,又有豐富多彩的展示、體驗、互動,為開發者打造專屬的 AI Party。

贊助本站

人工智能實驗室
AiLab云推薦

展會專題 ZhanHui

展開
Copyright © 2010-2020 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
青海快三直播今天 急速赛车全天计划数据 上海快3和值走势图带连线 哈尔滨麻将玩法则 火箭vs魔术 福建22选5开奖历史 经典老版单机麻将旧版 遵义捉鸡麻将 安徽快三开奖规则 华人彩票登录官网 海南体彩新环岛赛ApP 麻将打法技巧 香港35图库全年全 彩图 官方能提现的棋牌游戏 街机捕鱼达人破解版 青海快三选购技巧 二十一点高级策略表