close
巨群電子報-生醫評析, 2020年10月19日 (文/孫世昌)
在上一篇文章中，筆者與各位讀者們分享了美國「食品藥物管理局」(Food and Drug Administration，簡稱FDA)於2019年所發布的最新版「軟體預先認證計畫」(Software Pre-Certification Program)的運作模式文件，而從該份文件的內容中 其實不難感受到，對這類利用「人工智慧」(Artificial Intelligence，簡稱AI)或「機器學習」(Machine Learning，簡稱ML)技術所開發出的軟體醫療器材(Software as a Medical Device，簡稱SaMD)產品的上市管理，基於其本身所具不斷學習及自我更新的特性，勢必要較一般傳統醫療器材的上市管理更具挑戰(目前各先進國家政府皆正殫思竭慮的想找出最佳的上市管理方式)，而暫先撇開上市後SaMD因不斷的自我更新所可能導致的安全性問題不談，對於開發此類產品的廠商來說，除了產品的安全性問題外，要如何才能開發出一項真正具高品質且又可確實在臨床上發揮預期功效的SaMD產品？則是在此類產品尚未上市前，廠商就必須得先行面對與解決的重要課題！對此，筆者決定在這篇文章中，與讀者們一同來簡單回顧一下美國FDA於2017年底所發布的「醫療器材軟體：臨床評估(Software as a Medical Device (SaMD): Clinical Evaluation)」指引文件，以嘗試從中觀察FDA為協助廠商於開發此類產品過程中確認其臨床功效，究竟曾提出了哪些個可能的方法，並期望對SaMD產品開發廠商將來於美國申請上市時相關資料的事前準備與提交上，或多或少產生些助益。
關於本項指引文件，其內容從「適用範圍」到如何「有效運用真實世界的功能表現資料」一共分為9小節，而就較值得觀察的部分，略擇要說明於下：
(一) 適用範圍
1. 這份指引文件，主要是聚焦在臨床評估SaMD所需採取的相關活動此面向上，並直接援引了「國際醫療器材法規機構調論壇」(International Medical Device Regulators. Forum，簡稱IMDRF)先前所發布的指引文件中所提出的相關要求，且強調，將不重複(或修正)前述機構所發布任何有關SaMD各項文件中所提及的概念，此包括：
(1) SaMD的定義(SaMD N10指引文件)；
(2) SaMD的相關範例(SaMD N12指引文件)；
(3) SaMD於風險分級之定位與對風險分級分類的描述說明(SaMD N12指引文件)以及；
(4) 有哪些品質管理原則適用於SaMD產品(SaMD N23指引文件)。
(2) SaMD的相關範例(SaMD N12指引文件)；
(3) SaMD於風險分級之定位與對風險分級分類的描述說明(SaMD N12指引文件)以及；
(4) 有哪些品質管理原則適用於SaMD產品(SaMD N23指引文件)。
2. 建議相關人員應根據本身需求，一併參閱IMDRF先前所發布相關指引文件，理由是，這些指引文件可就SaMD產品功能表現指標的臨床評估，為閱讀者提供共通性的用詞、概念與相關規範原則。
(二) 用詞定義
1. SaMD的臨床評估
(1) 所稱「SaMD的臨床評估」，是指根據「製造商於其SaMD定義聲明中所描述的預期用途」，對SaMD的臨床安全性、有效性與功能表現所進行一系列持續性的評估與分析活動。(GHTF SG5 N2R8:2007指引文件)
2. SaMD的有效臨床關聯性
(1) 在概念上，「有效的臨床關聯性」亦可被稱之為科學的有效性，是指SaMD的輸出(概念、結論、測量)，於臨床上，是為可被接受的或有充分根據的程度(基於既定的科學架構或證據體系)，且在真實世界中可準確對應於SaMD定義聲明中所確認的臨床狀態，而換個角度來說，所謂的「有效的臨床關聯性」，也是臨床接受程度的指標，亦即在所預期的臨床狀態/生理條件下，可賦予SaMD的輸出的臨床重要性多少程度的意義與信心。
3. SaMD的分析性/技術性確效
(1) 是指衡量SaMD從輸入的資料中是否能準確、可靠、精確地產生所預期的技術性輸出的能力。換言之，所謂的分析性確效是：
a. 確認並提供客觀的證據，以證明軟體是正確的被建構-亦即可正確與可靠的處理所輸入的資料，並以適當的準確度、可重複性及再現性產生輸出的資料；及
b. 可展現出：
b. 可展現出：
(a) 該軟體可符合其規格，與
(b) 該軟體規格，可確實符合使用者需求及開發廠商所聲稱的預期用途。
(b) 該軟體規格，可確實符合使用者需求及開發廠商所聲稱的預期用途。
(2) 分析性確效一般是由廠商於軟體開發生命週期中的驗證及確效階段，利用「品質管理系統」(Quality Management System，簡稱QSM)來加以評估及確定的。
(3) 任何SaMD產品皆必需進行分析性確效。
(3) 任何SaMD產品皆必需進行分析性確效。
4. SaMD的臨床確效
(1) 是為衡量某項SaMD產品是否有能力產生與在廠商於SaMD定義聲明中所確定的目標醫療狀態下的預期用途有關的具臨床上意義的產出。而前述所謂的「臨床上意義」，是指SaMD對個人或人口群體健康的積極性影響，其為具體且有意義的、可衡量的、與病患相關的臨床結果，包括與SaMD功能有關的結果(例如：診斷、治療、預測風險、預測治療反應)。
(2) 於SaMD開發過程中，製造商應在SaMD產品上市前/後對其臨床有效性進行評估與確定。
(3) SaMD的臨床確效亦可視為是SaMD演算法的結果與相關臨床狀態間關係的驗證與確效。臨床確效是所有SaMD臨床評估的必要組成部分，可藉由下述2種方式來加以證明：
(2) 於SaMD開發過程中，製造商應在SaMD產品上市前/後對其臨床有效性進行評估與確定。
(3) SaMD的臨床確效亦可視為是SaMD演算法的結果與相關臨床狀態間關係的驗證與確效。臨床確效是所有SaMD臨床評估的必要組成部分，可藉由下述2種方式來加以證明：
a. 參考為同一預期用途所進行研究中的現有數據資料；
b. 參考為不同預期用途所進行研究中的現有數據資料，並合理的對這些數據資料進行推斷；或
c. 為特定用途生成新的臨床數據資料。
b. 參考為不同預期用途所進行研究中的現有數據資料，並合理的對這些數據資料進行推斷；或
c. 為特定用途生成新的臨床數據資料。
(4) 任何SaMD產品皆需進行臨床確效。
(三) SaMD臨床評估流程的一般性原則與脈絡
1. SaMD基本設計概念說明
(1) 基本上，SaMD可說是一種軟體，其利用某種演算法(邏輯、一套規則或模型)對所輸入的資料(數位化內容)進行操作處理，以產生由其製造商所定義聲明的使用於醫療目的的輸出(如附圖一)。
(2) 關於上述SaMD輸出所可能帶來的風險及利益，主要與SaMD輸出的不準確(或不正確)的風險相關(將可能影響對病患的臨床管理)。
附圖一、SaMD基本程式設計概念模型：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.11.”
(2) 關於上述SaMD輸出所可能帶來的風險及利益，主要與SaMD輸出的不準確(或不正確)的風險相關(將可能影響對病患的臨床管理)。
附圖一、SaMD基本程式設計概念模型：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.11.”
2. SaMD的定義聲明與分級分類
(1) 依據文件中所援引的SaMD N12指引文件內容，這裡所稱的SaMD的「定義聲明」(Definition Statement)，是指SaMD製造商用來確定其所開發SaMD產品的預期醫療目的(例如：為治療、診斷、驅動臨床管理、或為臨床管理提供資訊等目的)、其所預期使用的醫療情況或病情(例如：危急的、嚴重的、不嚴重的)及該項產品本身的核心功能所為的描述說明。
(2) SaMD製造商可利用上述SaMD定義聲明中所確認的各項因素，來決定其屬SaMD分類架構中的何種類型(可參考附圖二)。
附圖二、SaMD N12文件中所列之分類架構：
(2) SaMD製造商可利用上述SaMD定義聲明中所確認的各項因素，來決定其屬SaMD分類架構中的何種類型(可參考附圖二)。
附圖二、SaMD N12文件中所列之分類架構：
| 醫療狀況或條件 | 由SaMD所提供的資訊對醫療決策的重要性 | ||
| 治療或診斷 | 驅動臨床管理 | 為臨床管理提供資訊 | |
| 危急的 | IV | III | II |
| 嚴重的 | III | II | I |
| 不嚴重的 | II | I | I |
資料來源：“Software as a Medical Device(SaMD): Clinical Evaluation, p.11.”
3. 臨床評估流程概覽
(1) 本項文件點明，原則上主管機關將期待SaMD產品製造商會實施一項具持續性的產品生命週期管理流程，來徹底的評估其產品於預期市場中的功能表現情況。
(2) 於產品上市前階段，做為導入新產品流程的一部，製造商與其所預期的使用者，將會一起產生該項新產品於原預期環境中使用時有關準確性、特異性、靈敏度、可靠性、局限性及使用範圍的證據，並可據以產生該SaMD的定義聲明。
(3) 於產品上市後階段，作為產品生命週期管理流程的一部，廠商應持續收集其SaMD產品於真實世界的功能表現的數據資料(例如：使用者抱怨、安全性資料等)，以更進一步瞭解及確保其產品可滿足客戶需求，並同時監測該產品於真實世界使用時持續的安全性、有效性與功能表現(此可使製造商及時發現並糾正問題、支援該SaMD產品未來功能的擴展、滿足預期的使用者需求、或提高其醫療器材產品的功效)。
(4) 如文件中所援引的SaMD N12文件所述，產品生命週期活動應經適當的規劃，並作為組織機構生命週期活動與相關流程的一部(如附圖三所示的臨床評估活動)。另外，於進行臨床評估時，廠商亦應考量做為SaMD生命週期活動與流程的一部所進行的風險評估。
附圖三、SaMD臨床評估全貌：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.12.”
(2) 於產品上市前階段，做為導入新產品流程的一部，製造商與其所預期的使用者，將會一起產生該項新產品於原預期環境中使用時有關準確性、特異性、靈敏度、可靠性、局限性及使用範圍的證據，並可據以產生該SaMD的定義聲明。
(3) 於產品上市後階段，作為產品生命週期管理流程的一部，廠商應持續收集其SaMD產品於真實世界的功能表現的數據資料(例如：使用者抱怨、安全性資料等)，以更進一步瞭解及確保其產品可滿足客戶需求，並同時監測該產品於真實世界使用時持續的安全性、有效性與功能表現(此可使製造商及時發現並糾正問題、支援該SaMD產品未來功能的擴展、滿足預期的使用者需求、或提高其醫療器材產品的功效)。
(4) 如文件中所援引的SaMD N12文件所述，產品生命週期活動應經適當的規劃，並作為組織機構生命週期活動與相關流程的一部(如附圖三所示的臨床評估活動)。另外，於進行臨床評估時，廠商亦應考量做為SaMD生命週期活動與流程的一部所進行的風險評估。
附圖三、SaMD臨床評估全貌：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.12.”
(四) SaMD臨床評估流程
1. 臨床評估是一個有系統及有計畫的過程，以持續產生、收集、分析及評估與SaMD相關的臨床數據，以產生足夠的臨床證據，來證明SaMD按製造商的預定用途使用時的臨床關係及功能表現指標。臨床評估的品質及廣度，是由SaMD對目標臨床情況的作用來決定的，並保證SaMD的輸出在臨床上是有效的，能夠可靠的、可預測的來加以使用。
2. 依本項文件內容，其建議SaMD製造商可參考某些方法，來產出可供其進行臨床評估的證據(為利閱讀筆者將其簡單製作成如下表格供讀者參考)。
附表一、臨床評估流程(由左至右)及建議證據生成方法彙整表：
2. 依本項文件內容，其建議SaMD製造商可參考某些方法，來產出可供其進行臨床評估的證據(為利閱讀筆者將其簡單製作成如下表格供讀者參考)。
附表一、臨床評估流程(由左至右)及建議證據生成方法彙整表：
| 臨床評估 | |||
| 流程階段 | 有效的臨床關聯性 | 分析性確效 | 臨床確效 |
| 概念說明 | SaMD的輸出與SaMD所聚焦的臨床症狀間，是否存在有效的臨床關聯性？ | SaMD是否正確處理所輸入的資料，以產生準確的、可靠的、精確的輸出資料？(此即SaMD是否符合技術性要求) | 在臨床照護中，使用該項SaMD的準確度、可靠性、精確的輸出資料，於目標人口群體中是否能達到原本預期目的？(即SaMD是否產生了與臨床症狀相關的輸出) |
| 步驟目標 | 驗證SaMD輸出與目標臨床情況間的關聯是否有證據支持。 | 應提供證據，證明該SaMD的輸出在技術上均為原本所期望的。 |
- 產生證據，以顯示出：
- 該SaMD已在目標人群中針對原本預期用途進行測試；及
- 使用者可藉由可預測的與可靠的使用，獲得具臨床上意義的結果。 |
| 建議可產生證據的方法與範例 |
- 可使用「現有證據」進行驗證，亦可透過「產生新證據」進行驗證。
-「現有證據」範例： - 文獻檢索
- 原始的臨床研究 - 專業社群指引文件。 -「產生新證據」範例：
- 次級資料分析
- 執行臨床試驗 |
- 可以在「驗證」與「確效」活動期間(其屬「品質管理系統」(QSM)的一部或「優良軟體工程規範」(GSEP)的一部)來生成證據，或藉使用「專業資料庫」或過往所收集的病患資料來生成新的證據。 | - 可藉在作為QSM或GSEP一部的驗證及確效活動中所生成的證據，來確認臨床上意義，並參考為同一預期用途所進行的研究的現有資料。 - 如現有資料參考了為不同的預期用途所進行的研究，則可能需要推斷或生成新的臨床資料。 - 「臨床確效」範例： -例如靈敏度、特異性、陽/陰性預測值、似然比正/負值(LR+/-)、Odds Ratio、Clinical usability或信賴區間(CI)等。
|
| 備註 | 所有的SaMD皆應證明有效的臨床關聯性。 | 所有SaMD都應表明分析性確效。 | 所有的SaMD皆應表明其臨床確效。 |
資料來源：筆者自行整理。
(五) 持續學習有效運用真實世界的功能表現數據資料的方法
1. 此文件指出，SaMD製造商可利用醫療器材與使用者之間的「連接性」(Connectivity)來持續監測SaMD產品的安全性、有效性與功能表現。
2. 持續監測真實世界的功能表現的數據資料，可説明SaMD的功能與原始預期用途在進入市場後不斷演進的情況
3. 上開資料或可能包含例如：安全性資料、功能表現的研究結果、正在進行的醫療器材臨床證據生成、可支援或強化SaMD輸出與臨床條件的臨床關聯性的新研究出版刊物/結果，或最終使用者的直接回饋(此類資料可説明製造商瞭解其SaMD於真實世界的功能表現)。
4. 若製造商於臨床評估過程中可妥善利用來自於持續監測的真實世界的功能表現所產生的支援性臨床證據時，將可導致其SaMD產品的原始定義聲明的改變(如附圖四)。
附圖四、持續學習的方法-於持續的SaMD臨床評估過程中使用真實世界SaMD的功能表現數據資料概念圖：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.18.”
5. 除可導致SaMD的原始定義聲明的改變外，還可透過以下方式來影響SaMD的原始分級分類，例如：
2. 持續監測真實世界的功能表現的數據資料，可説明SaMD的功能與原始預期用途在進入市場後不斷演進的情況
3. 上開資料或可能包含例如：安全性資料、功能表現的研究結果、正在進行的醫療器材臨床證據生成、可支援或強化SaMD輸出與臨床條件的臨床關聯性的新研究出版刊物/結果，或最終使用者的直接回饋(此類資料可説明製造商瞭解其SaMD於真實世界的功能表現)。
4. 若製造商於臨床評估過程中可妥善利用來自於持續監測的真實世界的功能表現所產生的支援性臨床證據時，將可導致其SaMD產品的原始定義聲明的改變(如附圖四)。
附圖四、持續學習的方法-於持續的SaMD臨床評估過程中使用真實世界SaMD的功能表現數據資料概念圖：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.18.”
5. 除可導致SaMD的原始定義聲明的改變外，還可透過以下方式來影響SaMD的原始分級分類，例如：
(1) 持續監測與收集的真實世界的功能表現資料，或可為「該SaMD的分析性或臨床有效性優於其最初為評估該SaMD功能表現時所得測得結果」提供證據，或
(2) 持續監測與收集的真實世界的功能表現資料，或可為「該SaMD的分析性或臨床有效性不如其最初為評估該SaMD功能表現時所得測得結果」提供證據。
(2) 持續監測與收集的真實世界的功能表現資料，或可為「該SaMD的分析性或臨床有效性不如其最初為評估該SaMD功能表現時所得測得結果」提供證據。
6. 廠商宜多加利用SaMD獲取真實世界的功能表現資料的能力，來掌握使用者與其SaMD產品實際互動的情況，並建議持續對分析與技術性的功能表現進行監測，以支持其產品未來可能的預期用途。
除上述內容外，於此份文件中就「持續學習有效運用真實世界的功能表現資料」部分，尚做了些許補充，而考量上市後管理對減低此類具不斷學習與自我更新功能特徵的SaMD產品的不確定風險的重要性，故筆者再為讀者們稍作整理於下：
- 就上述所提及的「持續學習」一詞，在概念上，並不是指「機器學習」(即SaMD產品於上市後將會不斷的自動學習)，而是指上市後資訊的持續收集。
- 建議廠商宜促進SaMD產品上市後的資訊收集，以便為在SaMD使用範疇內打算停用現有功能或啟用新功能等方面提供重要參考根據。
- 於收集真實世界的功能表現資料時，廠商不一定要完全仰賴最終使用者的積極參與，並建議於收集資料時，宜採取能減輕負擔的方法，多加利用SaMD的能力來收集臨床證據資料。
- 伴隨著臨床評估的持續進行，上市後SaMD產品原始的風險分級有可能會隨之發生變動，因此，建議廠商應事先建立將來或有需要變更其SaMD產品原始定義聲明的認知(如附圖五)。
- 考量廠商所收集的真實世界的功能表現數據資料，可能無法全面提供將來擬變更SaMD產品原始定義聲明所需要的臨床證據，故建議，廠商宜適當考慮可支持變更自家SaMD產品原始定義聲明所需的其他臨床評估步驟。
- 建議廠商對所收集到的上市後資訊進行適當的評估審查，以確定SaMD的安全性、有效性或功能表現是否已發生變化，或該變化對於其產品本身的利益及風險是否可能產生影響，從而顯示出需變更原始設計或變更產品相關禁忌、警告、預防措施或使用說明的原始標籤。而值得注意的是，對上市後資訊的評估，也有可能會導致SaMD產品原預期用途的改變(例如：擴大、修正或限制)。
附圖五、持續學習的方法-於持續的SaMD臨床評估過程中使用真實世界SaMD的功能表現數據資料概念圖：
資料來源：“Software as a Medical Device (SaMD): Clinical Evaluation, p.19.”
最後，我們回過頭從FDA直接採納並援引IMDRF先前所發布的SaMD相關指引文件的做法來看，就該國未來對SaMD的法規監管，略有幾點似值注意：第一、在相關用詞定義、規範架構(以風險為基礎)、品質管理原則及臨床評估方法與相關佐證資料的提供等面向上，均嘗試與國際性機構所提出或建議的相關要求保持一致；第二、由本項指引文件所帶出的規範思維及方向，對美國FDA日後所可能提出的SaMD上市管理法規與相關措施，將產生一定程度影響；第三、有鑑於日後臨床醫療決策的作成，勢將越來越依賴SaMD輸出所提供的資訊，故並不難預見，此類功能強大的SaMD產品，也將有更多的機會左右病患臨床照護方式的選擇與實際的治療結果，因此，要如何在兼顧科學嚴謹度且又不會阻礙此類新興科技產品發展的前提下，找出一套能確實保障SaMD品質與功效並可滿足各方利益(主管機關、廠商與使用者)的法令規範？此項文件也點明，SaMD廠商與主管機關間的積極合作，或將是重要且不可或缺的一環。
參考資料
1. For more information about the “International Medical Device Regulators Forum”, please refer to this website：
http://www.imdrf.org/
2. For more information about the original IMDRF document, please refer to this website：
http://www.imdrf.org/consultations/cons-samd-ce.asp
3. About the fill text of the “Software as a Medical Device (SaMD): Clinical Evaluation” guidance,
available at this website：https://www.fda.gov/regulatory-information/search-fda-guidance-documents
/software-medical-device-samd-clinical-evaluation
4. 有關「持續探求以AI/ML為基礎SaMD產品的最適化法規環境~FDA更新『軟體預先認證計畫』運作模式文件(v1.0)」文章，
可至巨群網站參考：http://www.giant-group.com.tw/law-detail-956.html
文章標籤
全站熱搜
留言列表
國內法規動向觀察與評析 (5)
