發(fā)布日期:2019-01-08
圖為中檢院AI研究小組。這支平均年齡不到35歲的科研團隊,正在為中國AI醫(yī)療器械質(zhì)量評價事業(yè)的未來而努力奮斗。
編者按
作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力,人工智能(artificial intelligence,AI)在創(chuàng)新驅(qū)動和傳統(tǒng)產(chǎn)業(yè)升級方面發(fā)揮著越來越重要的作用。隨著AI技術(shù)在醫(yī)療健康領域的迅猛發(fā)展,國產(chǎn)AI醫(yī)療器械已進入產(chǎn)品轉(zhuǎn)化的關(guān)鍵時期,為此,我國正在加緊研究建立AI產(chǎn)品質(zhì)量評價標準和規(guī)范。新興技術(shù)和創(chuàng)新產(chǎn)品如何進行注冊審批和檢驗檢測?企業(yè)如何拓展研發(fā)思路推動產(chǎn)品落地?請關(guān)注本版推出的“聚焦AI醫(yī)療器械”系列報道。
對AI醫(yī)療器械而言,過去的2018年是值得銘記的一年。美國食品藥品管理局(FDA)首次批準了幾款聲稱使用人工智能的醫(yī)療器械,包含獨立軟件、系統(tǒng)組件等形式,在眼科、骨科、消化科等領域助推了“醫(yī)療器械AI+”的浪潮,也激發(fā)了世界各國的追趕熱情。與此同時,我國AI醫(yī)療器械呈現(xiàn)出如火如荼的發(fā)展態(tài)勢,企業(yè)數(shù)量不斷增長,產(chǎn)品預期用途和功能日新月異,在國內(nèi)外舉辦的各種競賽中成績斐然,在北美放射學年會(RSNA)等場合的集體展示更是引起海內(nèi)外的廣泛關(guān)注。
但是,由于算法迭代迅速、標準規(guī)范滯后,AI醫(yī)療器械的產(chǎn)品質(zhì)量評價研究仍面臨諸多挑戰(zhàn)。隨著大量產(chǎn)品涌現(xiàn)并進入檢驗階段,為更好地服務企業(yè)、支撐技術(shù)審評,在國家藥品監(jiān)管部門的部署下,中國食品藥品檢定研究院(以下簡稱中檢院)聚焦AI醫(yī)療器械質(zhì)量評價,從理論策略、檢驗實踐、標準規(guī)范等角度逐步深入,AI醫(yī)療器械質(zhì)量評價工作進展順利。
快速布局 深入調(diào)研
截至目前,進入型式檢驗階段的國產(chǎn)AI醫(yī)療器械產(chǎn)品以獨立軟件為主,預期用途多種多樣,其中醫(yī)學影像分析、體外診斷數(shù)據(jù)分析、生理數(shù)據(jù)分析等學科方向的檢品數(shù)量比較集中,預期用途和臨床功能日益豐富,總體呈現(xiàn)出“大聚居、小雜居、演化快”的特點。
中檢院在2016年開始布局AI醫(yī)療器械質(zhì)量評價研究,成立了AI研究小組,對于AI算法的發(fā)展、AI在醫(yī)療領域的應用、AI醫(yī)療器械產(chǎn)品發(fā)展、國外監(jiān)管機構(gòu)針對AI醫(yī)療器械開展的評價進行了較為深入的研究。為了解國產(chǎn)AI醫(yī)療器械產(chǎn)品特性,中檢院與相關(guān)企業(yè)召開了幾十次專題技術(shù)研討會,在數(shù)據(jù)組成、數(shù)據(jù)結(jié)構(gòu)、算法框架、模型調(diào)優(yōu)、臨床使用等方面進行了深入調(diào)研。同時,中檢院還持續(xù)與來自藥監(jiān)系統(tǒng)、醫(yī)學界和研究機構(gòu)的專家進行產(chǎn)品質(zhì)量評價方法的討論。AI醫(yī)療器械產(chǎn)品不同于傳統(tǒng)醫(yī)療器械軟件,常規(guī)的檢測方法不能全面地評價產(chǎn)品質(zhì)量,尤其是AI產(chǎn)品在訓練用數(shù)據(jù)集質(zhì)量、算法模型魯棒性、算法框架實時迭代風險等方面存在較多問題。
通過不斷探索,中檢院形成了現(xiàn)有的工作思路,并且繼續(xù)演化為:在軟件特性方面,圍繞現(xiàn)有標準和指導原則加強實踐,提煉AI特色;在AI性能方面緊扣算法特征與臨床應用情景,開展量化指標的評價;在AI風險分析方面,將傳統(tǒng)醫(yī)療器械檢驗的歷史數(shù)據(jù)與AI技術(shù)特征相融合,推進風險評估模型與算法研究。AI的質(zhì)量評價方法和手段是發(fā)展的、立體的、多維度的,中檢院將會繼續(xù)深入探索,助推產(chǎn)業(yè)發(fā)展。
實踐發(fā)力 突破瓶頸
作為機器學習的分支,由于其數(shù)據(jù)驅(qū)動的特性,AI醫(yī)療器械的質(zhì)量評價一般需要在測試集上對算法進行驗證、確認。高質(zhì)量的獨立封閉測試集在產(chǎn)品質(zhì)量評價中扮演著重要的角色。美國FDA在2018年8月的一次公告中對此進行了強調(diào),與我國的思路不謀而合。
為滿足目前國內(nèi)數(shù)量較多、功能相近的糖尿病視網(wǎng)膜病變(簡稱糖網(wǎng))、肺結(jié)節(jié)類AI產(chǎn)品的檢驗需求,2018年4月和6月,中檢院相繼完成了糖網(wǎng)眼底圖像標準數(shù)據(jù)集和胸部CT影像肺結(jié)節(jié)標準數(shù)據(jù)集的建設。作為我國首批AI檢驗專用數(shù)據(jù)集,這兩個標準數(shù)據(jù)集在標注權(quán)威性、數(shù)據(jù)多樣性、臨床代表性、數(shù)據(jù)容量等方面處于國內(nèi)領先水平。兩個標準數(shù)據(jù)集具有如下特色:第一,病種的組成依據(jù)我國和國際臨床指南設計,滿足相關(guān)產(chǎn)品檢測需要;第二,原始數(shù)據(jù)從地理來源、設備廠家和型號等角度充分考慮臨床實際條件和地區(qū)的多樣性差異;第三,圖像標注規(guī)則由中檢院聯(lián)合國內(nèi)一線醫(yī)學專家團隊討論制定,包括來自中華醫(yī)學會放射學分會心胸學組、傳染病影像學組等組織的專家,并由中華醫(yī)學會放射學分會候任主委以及多名二級教授、影像科主任、醫(yī)學讀片中心主任等專家在標注現(xiàn)場予以指導;第四,原始數(shù)據(jù)經(jīng)過多輪清洗,在數(shù)據(jù)質(zhì)量、隱私保護、合規(guī)性等方面經(jīng)過嚴格審查,圖像標注由通過全國公開考試選拔的醫(yī)生承擔,醫(yī)生資質(zhì)、能力考核、培訓和實際工作流程均經(jīng)過嚴謹?shù)脑O計,質(zhì)量控制覆蓋全程。
目前,大部分送檢的企業(yè)產(chǎn)品已經(jīng)進入測試階段。通過在中檢院封閉數(shù)據(jù)集上的測試,結(jié)合針對性“試錯”模擬對抗實驗,企業(yè)不僅可以客觀、公正地比較、評價自己的算法,同時也可發(fā)現(xiàn)哪些算法需要改進,如算法對頻率敏感、對機型敏感、對一些疾病情況覆蓋有缺陷等。另外,通過中檢院對社會其他的訓練集、測試集的分析和確認,企業(yè)也在逐步規(guī)范數(shù)據(jù)集管理體系。
美國FDA在2018年4月批準了首個糖網(wǎng)AI產(chǎn)品,與此同時,中檢院也出具了國內(nèi)首批醫(yī)療器械AI產(chǎn)品的性能檢驗報告,這對繼續(xù)縮小與國外的差距、加速行業(yè)發(fā)展、支撐審評審批工作很有意義。
標準立項 不斷進步
從技術(shù)發(fā)展的趨勢來看,AI技術(shù)在醫(yī)療器械產(chǎn)品中的角色、作用還在日益豐富,有效性與安全性的評價方式也將不斷發(fā)展變化,需要科學的標準體系提供技術(shù)支撐。2018年9月,國家藥監(jiān)局批準中檢院籌建全國人工智能醫(yī)療器械標準化技術(shù)歸口單位,國內(nèi)行業(yè)標準的制修訂已提上日程。12月,中檢院牽頭的電工電子工程師協(xié)會(IEEE)人工智能醫(yī)療器械工作組(AIMDWG)宣告成立。該工作組提出兩項IEEE標準立項申請并已獲得批準,將圍繞AI醫(yī)療器械有效性與安全性的評價術(shù)語、數(shù)據(jù)集質(zhì)量管理與評價兩個方面開展國際標準研究。這也是我國首次在AI醫(yī)療器械領域主導國際標準的制定。
回顧2018年,我國AI醫(yī)療器械質(zhì)量評價工作在產(chǎn)、學、研、醫(yī)、管的通力合作下取得了顯著成績。根據(jù)實踐經(jīng)驗,AI醫(yī)療器械的質(zhì)量提升需要數(shù)據(jù)資源開發(fā)與標注、算法研發(fā)、測試驗證、臨床應用、風險評價等技術(shù)環(huán)節(jié)共同發(fā)力??梢灶A見,在2019年,AI醫(yī)療器械質(zhì)量評價與標準化研究還將在社會各界共同努力的基礎上,圍繞上述環(huán)節(jié)繼續(xù)深入,助推中國AI醫(yī)療器械走向世界前列。(文/圖 王浩 任海萍 楊昭鵬 作者單位:中國食品藥品檢定研究院)
來源:中國醫(yī)藥報