世界中に分散され、品質が低く、保護されたプライベート医療データをトレーニングするための新しい分散型フェデレーテッド ラーニング アプローチ

Scientific Reports volume 12、記事番号: 8888 (2022) この記事を引用

4400 アクセス

2 引用

3 オルトメトリック

メトリクスの詳細

偏りのない一般化可能な AI を確保するには、複数の多様なデータ ソースでのトレーニングが重要です。 医療分野では、データ プライバシー法によりデータの本国外への移動が禁止されており、世界中の医療データセットが AI トレーニングのために一元化されることが妨げられています。 データ中心のクロスサイロ連合学習は、分散された医療データセットでのトレーニングへの道を表します。 既存のアプローチでは通常、トレーニング モデルの更新を中央サーバーに転送する必要があり、データセットの再構築を防ぐために更新が十分に偽装または抽象化されていない限り、データ プライバシー法に違反する可能性があります。 ここでは、知識の蒸留を使用してデータのプライバシーと保護を確保する、完全に分散化されたフェデレーション ラーニング アプローチを紹介します。 各ノードは外部データにアクセスする必要がなく、独立して動作します。 このアプローチを使用した AI の精度は集中型トレーニングに匹敵することがわかっており、ヘルスケアではよくある低品質のデータでノードが構成されている場合、AI の精度は従来の集中型トレーニングのパフォーマンスを超える可能性があります。

AI の偏見と、それに伴うスケーラビリティの限界が、AI ヘルスケア分野の共通のテーマとして浮上し始めています。 最近、これらの制限は、現実世界の臨床や患者の多様性を表していない「狭い」データセットでのトレーニングの結果であると提案されています 1,2。 データの多様性と複数のソースからのデータの使用により、単一ソースからの大規模な (多様性の低い) データセットでトレーニングされた AI と比較して、より正確で一般化可能な AI をトレーニングできる大きな可能性が実証されています3、4、5、6、7、8。

医療分野では、これらの多様なデータセットへのアクセスが困難な場合があります。 医療データは世界中の多くの機関に分散しているだけでなく、データのプライバシーを保護するために、AI トレーニングのためのデータの一元的な集約は、データの元の地域外への移動を妨げる法的および規制上の障壁によりますます制限されています9,10。

分散された個々のデータセットの品質を評価する方法がない場合、データの品質も問題となる可能性があります。 現実世界の問題の多くでは、不確実性、主観性、エラー、または敵対的攻撃の影響により、データの品質が本質的に低くなる可能性があります11、12、13。 各地域の個人データを手動で確認または検証できない場合、この問題はさらに大きくなります。 したがって、低品質のデータが AI のパフォーマンスに与える悪影響を最小限に抑えることが最も重要であり、現実的なレベルのデータ ノイズを処理するアプローチの能力が、AI のスケーラビリティの中核部分となります。

この研究では、分散型 AI トレーニング アプローチの有効性を評価します。まず、合成データ ノイズを含む非医療データセットで、次に医療データセットで、複数の場所にわたる一般化可能性を測定します。 また、精度とコストのトレードオフを指定できるパターンベースのフレームワークのトポロジーを最適化する方法も採用しています。 重要なのは、私たちのアプローチから得られる AI の精度が、すべてのデータが集中管理されているシナリオと同等であることを示していることです。 さらに、現実世界のシナリオではよくあることですが、ノードに低品質のデータが含まれている場合、AI の精度は従来の一元的なトレーニングを超える可能性があります。 私たちは、データプライバシーを保護しながら、分散型 AI トレーニングを実用的かつ一般化可能性の望ましい許容範囲内で拡張可能にすることができると結論付けています。

この記事は次のように構成されています。 関連作品は「関連作品」にまとめてから。 以下の 2 番目のセクションに結果を示します。 実験は、i とラベル付けされたシナリオを含む、非医療データセット (「非医療データセット」) を考慮する実験に分けられます。 から iv.、および医療データセット (「医療データセット」) を考慮したもの。 「考察」は 3 番目のセクションで説明されます。 最後に、実験デザイン、トレーニング手順、非医療および医療データセットの構成を含む「方法」について、「実験デザインとトレーニング手順」、「非医療データセットの構成」、および医療データセットとして第 4 セクションで説明します。それぞれ構成。

分散型のプライベート データセットを使用した AI のトレーニングに関連する課題に対処する最近の開発の 1 つは、フェデレーション ラーニングです 14,15。 フェデレーション ラーニングには、独自のローカル データセットにアクセスできるクライアント (デバイスやデータ センターなど) が、中央サービスによって調整された生の形式でデータを交換することなく協力して問題を解決する、あらゆる機械学習アプローチが含まれます16。 フェデレーテッド ラーニングの分野は、ヘルスケア分野 17,18,19,20,21、特に医療アプリケーション 22,23,24,25 の分野に急速に拡大しており、分散デバイスまたはデータ サイロ (水平方向) にわたる AI トレーニングのための幅広い方法をもたらしています。またはサンプルベースの連合学習）、重複する可能性のあるレコードを持つ組織内のデータセンター（垂直または機能ベースの連合学習）26、および「独立かつ同一に分散」（IID）されていないデータセット27、28。

一部のフェデレーテッド ラーニング技術では、機密性の高いトレーニング パラメータの側面をトレーニング用に中央サーバーに共有できるようにするために高度な暗号化が必要ですが 17、29、30、31、これは計算コストが高くつく可能性があり、技術の実用性とスケーラビリティに制約が課せられます。 ヘルスケアなどのアプリケーションでは、個人の医療データを法的に共有することはまったくできず、完全に分散化されたデータプライバシー保護のアプローチが必要です16,28。 さらに、フェデレーテッド ラーニングは通常、クライアントからのモデルへのバッチごとの更新に依存しますが、パターンベースの転送削減フレームワークに依存している場合でも、ネットワーク コストが高いため、多数のデータ センターに拡張するのが難しい場合があります。 Ring Reduce32 や Ring Allreduce33 など。

この研究の目的は、中央サーバー上のモデルをバッチごとに更新する必要がなく、低いネットワーク コストで高い精度を達成できる、完全に分散化されたデータ中心のクロスサイロ AI トレーニング アルゴリズムを作成することでした。非 IID データセットでも。 この論文では、堅牢な分散型 AI トレーニング アルゴリズム (DAITA) の新しい、データに依存しない実装を明らかにします。 私たちは、連合学習 15、知識蒸留 34、スケーラブルなパターンベースまたは有向非巡回グラフ (DAG) フレームワークなどのいくつかの技術を組み合わせます。 私たちのアルゴリズムは、完全な分散トレーニングのコスト効率の高い簡素化を実装し、セキュリティ違反をチェックし、重み付け平均を使用してデータの再構築を防ぎます。

まず、非医療の猫と犬の画像データセット 35 を検討しました。このデータセットでは、グラウンドトゥルースの結果が明確にわかっており、合成ノイズを含むデータがデータセットに注入されて、現実世界の不均衡なデータ分布と低品質データのシナリオをシミュレートしました。 さまざまなノードおよびクラスター構成が実装されました。 この非医療データセットに最適な実験環境を与えた後、この技術を複数の体外受精クリニックから取得した胚データセットに適用して、現実のシナリオでのパフォーマンスをテストしました。

非医療データセットのソースと構成については、「方法」セクションの「トレーニング手順」で説明されています。 実験で使用した分散ノード (データ ソース) とクラスター (ノードのグループ) の構成を図 1 に示します。以下に、3 つの分散トレーニング シナリオの主な結果をまとめます。

5 ノード (a)、15 ノード (b) の単一クラスター シナリオ、およびそれぞれ 5 ノードの 3 クラスター シナリオ (c) の図。

これらの実験では、図 1a に示す 5 ノード、1 クラスター設定が、「方法」セクションで説明されている「トレーニング手順」とともに使用されました。 モデル \({\mathbb{M}}^{1}\) は、蒸留による転送データセットを使用し、複数のすべてのトレーニング済みジェネラリストを教師モデルとして使用してトレーニングされました。 最終的なモデルと重みは、検証セット上で最もバランスの取れた精度を報告するエポックに基づいて取得されました。

2 番目のモデル \({\mathbb{M}}^{2}\) は、知識の蒸留を使用せずに、トレーニングされたすべてのジェネラリスト モデルのアンサンブルによって作成されました。 このプロセスは、ローカル マシンへの転送データセットのダウンロードに制限がない別のサーバーで実行できます。 これら 2 つのモデルの結果は、1 つのノードに集中化されたすべてのデータに対する従来のトレーニングを表すベースライン結果と比較されます。

表 1 に示す結果は、集中型のベースライン結果と比較して、分散型トレーニング アルゴリズムが良好に機能することを確認しています。 クレンジングされたデータセットを使用した場合、分散トレーニング (\({\mathbb{M}}^{1}\) と \({\mathbb{M}}^{2}\)) の間の精度に最小限の差が報告されました。そして一元化されたベースライン結果。

表 1 は、ノイズの多いデータセットを使用する場合、分散型トレーニング アルゴリズム (\({\mathbb{M}}^{1}\)) が集中型ベースラインよりも優れたパフォーマンス (+ 2.7% の精度) を示すことを示しています。 実験は異なるデータセット構成を使用して複数回繰り返され、分散トレーニングを使用して同様の精度の向上が達成されました。 この結果は予想外であり、データ プライバシー、パフォーマンス (精度と汎用性)、およびノイズの多い (低品質) データの存在下で堅牢にトレーニングする能力に対する DAITA の有用性を実証する上で重要でした。 ノイズの多いデータは、現実世界のほとんどの状況、特に複数のデータ所有者が存在し、データの透明性が限られている分散型の状況で発生する可能性があります。 それにもかかわらず、すべてのローカル Specialist モデルは、ベースライン トレーニング セットよりもはるかに小さいトレーニング データ セットにアクセスできるため、ベースライン モデルと比較して一般化可能性が低下していることが示されました。

表 1 は、知識の蒸留 (\({\mathbb{M}}^{2}\)) を使用せずにトレーニングされたモデルのパフォーマンスがベースラインよりも悪かったことも示しています (精度 - 1.5%)。ノード。 したがって、アンサンブルを作成するこの追加のステップは無視され、実験計画を簡素化するために、当面は知識蒸留の使用が強調され、転送セットのより多くのオプションが検討されます。

クレンジングされたトレーニング セットの実験結果はベースラインの結果と類似しており、最大 100% の精度に近いため、次のセクションでは、すべての実験はノイズの多いトレーニング検証データセットに対してのみ実行され、ベースラインの精度は 75% と低くなります。さまざまな分散トレーニングアプローチ間の差異をより適切に評価するため。 表 1 の下半分に示すように、合計精度とバランス精度の値は似ていますが、知識蒸留を使用した場合、転送セットでトレーニングされた最終モデルはベースライン結果よりも優れていることがわかります (クラス 1 の精度はクラス 1 の精度を上回ります)。クラス 0 は、不均衡なクラス分布と各クラスに合成されるノイズの量が不均一であるため)。

「クレンジングされたデータセットとノイズのあるデータセットを比較する実験」のアルゴリズムでは別の転送セットが必要ですが、実際には別の転送セットが利用できない場合があります。 この場合、各ノードにある既存のデータが転送セットとしての役割を果たすことができます。 このセクションでは、転送セットの選択に関するさまざまなオプションを実証的に調査します。 図 2 は、次の実験の結果を比較しています。

Dc-i: 図 1a に示す DAG トポロジを使用して 5 つのノードのデータのトレーニングを進め、複数の教師知識の蒸留を使用した後、\({\mathbb{M}}^{1}\) は最終的に次のようにトレーニングされます。最後のステップでは、単一ノードのデータ (i 番目のノードのデータ) を \({\mathbb{M}}^{1}\) の転送セットとして使用します。

Dc-m1: すべてのノードのデータをまとめて収集できる楽観的なシナリオを表します。Dc-m1 は、\({\mathbb{M}}^{1}\) がこの集合転送セットでトレーニングされたときの結果です。

Dc-m2: 複数の転送セットが使用される、現実的なデータ プライバシー保護シナリオを表します。 \({\mathbb{M}}^{1}\) は各ノードに移動し、各ノードのデータを転送セットとして受け取ります。 最終モデルは、ローカル データ (ローカル転送セットと見なされる) でトレーニングされ、トレーニングされた複数のジェネラリスト モデルからの知識を参照します。 このプロセスでは大規模なデータ転送が必要となるため、最終モデルとトレーニングされたすべての Student は 1 ラウンドのみ各ノードに転送されます (図 1a を参照)。

さまざまな転送セット シナリオの分散モデルの結果の比較。 ベースラインは、すべてのデータが集中化され、トレーニングがこの中央ノードで行われる実験を示します。 Dc-1 ～ Dc-4 は、個々のノード (1 ～ 4) が唯一の転送セットとして選択される実験を指します。 Dc-m1 は、分散トレーニングが行われるシナリオを示しますが、転送セットは理論的にはすべてのデータの集中セットです。 Dc-m2 は、分散トレーニングの後に最終プロセスが続くシナリオを示します。このプロセスでは、すべての最終モデルが各ノードでまとめて抽出され、すべてのノードを 1 回完全に走査します。

図 2 の目的は、特に、転送セットのさまざまな選択について、特定の分散シナリオでのパフォーマンスを比較することであることに注意してください。 すべての分散モデルに共有検証セットが使用され、このセットはベースライン トレーニングで使用されたものと同一であることに注意してください。 検証セットは、検証セットに関するレポートを作成するために、最終的にすべての分散モデルを移動できる単一のノードに配置されました。

実験 Dc-1 ～ 4 では、転送セットはノードの 1 つのみのデータセットとなるように選択されました。 これは、理論上の転送セットがすべての集中データで構成される実験 Dc-m1 のシナリオと比較されます。 対照的に、実験 Dc-m2 では、プライバシーを保護する分散アプローチが実行されます。実験では、各ノードの各最終モデルが他のすべてのノードに送信され、各ノードのデータを転送セットとして蒸留され、結合されたデータが転送として使用されます。プライベートデータをノードから転送せずに設定します。

図 2 は、ほぼすべての分散型 AI モデルのパフォーマンスがベースラインの結果を上回っていることを示しています。 転送セットが単一ノードのデータと同じくらい小さい場合でも、実験 Dc-1 ～ Dc-4 の結果は依然としてベースライン結果と同様です。 複数の転送セットの使用に関しては、実験 Dc-m1 と Dc-m2 の両方で、ベースライン結果と比較して精度が大幅に向上しています (それぞれ 9% と 11%)。 これは、組み合わせ戦略が転送セットにとって有益であることを示唆しています。 実際、実験 Dc-m2 で作成したモデルは、データが一元化されている Dc-m1 のモデルのパフォーマンスを上回っています。 これは、Dc-m2 に次の特徴があるためです。(a) ノードを通過する順序 (パターンベースの DAG アプローチ)。 (b) 各ノード上のエポックの総数に対応する新しいハイパーパラメータ。最適な結果を達成するために調整できます。

実験 Dc-m2 は、データを転送セットとして使用する最も堅牢で実現可能な方法論であると経験的に考えられていたため、以下の実験で使用されました。

DAITA のスケーラビリティをテストするために、15 ノードのシナリオが検討されました。 2 つのタイプの DAG トポロジ、つまり、均等なノード分布を持つ 1 クラスター (図 1b を参照) と 3 クラスター (図 1c を参照) が考慮されます。 分散モデルは、これら 2 つのクラスタリング構成を使用してトレーニングされます。

特に、分散型 AI モデルのパフォーマンスに対する各ノードのエポック数の影響をテストしました。 各トポロジについて、最終的な分散モデルは 3 ～ 20 エポックを使用してトレーニングされ、対応する精度の結果は Dc-\(i\) e として示されます。ここで \(i\in \{\mathrm{3,5},\mathrm {8,10,15,20}\}\)。 たとえば、Dc-3e は、最終的な分散モデルが各ノードに 1 回送信され、その後 3 エポックでローカルにトレーニングされるアプローチを示します。 報告されたすべての結果はテスト セットに基づいています。 図 3 の「検証に最適」という用語は、検証セット上で最もバランスの取れた精度に基づいて選択されたモデルの結果を示すために使用されます。 「テストで最良」という用語は、テスト セット上で最もバランスの取れた精度で選択された結果を示すために使用されます。 「テストで最良」の結果は、モデルの最良の予測能力を評価する目的のみで報告されます。

各ノードのノードレベルのエポック数を変更して比較した、15 ノードの分散実験の比較。 隣接するノードに転送する前の k エポックのすべてのノードレベルのトレーニングでは、実験は Dc-ke と表示されます。 15 ノードが 5 ノードずつの 3 つのクラスターに分割されるクラスタリング シナリオが、15 ノードの完全なリングの結果と比較されます。

ノード クラスタリング (3 クラスタ シナリオとも呼ばれる) は、分散型 AI 技術のスケーラビリティを向上させるために使用されました。 分散型 AI トレーニングは、ノードの個々のクラスター内で同時に実行され、その後、クラスター間で階層的な方法でさらなるトレーニングが行われ、各クラスターが単一のノードを表します。 このアプローチにより、DAG が定義され、負荷分散が改善され、ノード間で転送する必要があるトレーニング済みのジェネラリスト モデルの数が削減されるため、データ転送の効率とコスト、および全体的なトレーニング時間が向上します。

ノード クラスタリングによるパフォーマンスの低下は主に、図 3 の 3 クラスタ シナリオに見られるように、クラスタ全体のジェネラリスト モデルが特定のクラスタ内の各ノードのデータに 1 回しかアクセスしないことが原因です。 最終的な分散モデル \({\mathbb{M}}^{c}\) はすべてのクラスターのすべてのデータにアクセスできますが、各ノードに 1 回アクセスするだけでは \({\mathbb{M} }^{c}\)。 ノードのデータ サイズは重要です。 ただし、図 3 に示す結果は、クラスタリングの構成が精度の低下に寄与する重要な要因であることを示しています。 クラスタリングは現実の状況でのスケーラビリティを確保するために必要であるため、クラスタの数が増えると \({\mathbb{M}}^{c}\) の精度がさらに低下する可能性があります。 次の実験では、 \({\mathbb{M}}^{c}\) がクラスター内の各ノードに複数回移動すると、その精度と一般化がベースライン結果と同等のレベルまで向上する可能性があることを確認します。

表 2 の結果は、\({\mathbb{M}}^{c}\) が各ノードに少なくとも 3 回アクセスすると、最終的なモデルの精度が向上することを示しています。 重要なのは、\({\mathbb{M}}^{c}\) の精度はベースライン精度の結果を平均で約 3% 上回る可能性があることです。 表 2 のシナリオは Dc-1e-5t および Dc-2e-5t で示されており、\({\mathbb{M}}^{c}\) が各ノードを 5 回訪問し、各ノードのエポック数がそれぞれ 1 または 2。 図 3 には示されていませんが、ここで見ることができるもう 1 つの観察は、分散型 AI モデルのクラスごとの「検証に最適な」精度がベースラインの結果よりもはるかにバランスが取れており、精度が少なくとも 14% 向上していることです。分散トレーニング技術と知識ベースの蒸留統合により、この場合の不均衡なクラス分布に対応できることがある程度示されました。

ネットワーク転送コストと最終的な AI モデルの精度の間にはトレードオフが存在します。 経験的に、各ノードのデータから学習するのに十分な数のトレーニング エポックが与えられた場合、最終モデルはより高いパフォーマンスを示します。 その結果、Generalist モデルを別のノードに転送する前に調整可能なエポック数を使用するパターンベースの DAG アプローチは、ハイパーパラメータ検索の精度に対するネットワーク転送コストの最適化の問題を効果的に抽象化し、目的の精度のしきい値を指定できるようにします。スケーラビリティを維持しながら、特定の問題に対応します。

図 1a のように、分散トレーニング アプローチで 5 つのノードがリング状に配置され、モデル \({\mathbb{M}}^{c}\) が得られる実際の例を考えてみましょう。 比較として、従来の分散トレーニング用の 4 ワーカーと 1 マスターのクライアントサーバー アーキテクチャを考えてみましょう。その結果、モデル \({\mathbb{M}}^{d}\) が得られます。 各モデルが 4,500 枚の画像のデータセットでバッチ サイズ 16 で 100 エポックに対してトレーニングされたと仮定します。

分散アプローチを使用して、\({\mathbb{M}}^{c}\) が 5 つの教師モデルと知識の蒸留を使用して、均等なサイズの 5 つのノードのデータ (900 枚の画像) でトレーニングされることを提案してみましょう。 トレーニング中、\({\mathbb{M}}^{\mathrm{c}}\) は 5 つの教師モデルとともに各ノードに移動すると想定され、ローカル データを使用して 2 エポックの間トレーニングされてから、移動されます。次のノード。 各モデルをノードのローカル ストレージに転送する必要があるため、モデルの重み転送操作を毎回実行する必要があります。 モデル \({\mathbb{M}}^{\mathrm{c}}\) が 5 ノード トポロジ全体を 10 ラウンド横断する場合、各ノードの各教師モデルは 2 エポック * 5 ノード (各教師モデル) でトレーニングされます。各ノードのトレイン) * 10 ラウンド = 合計 100 エポック。 これには、5 ノード * 10 ラウンド * (5 つの教師モデル + 1 つの最終 \({\mathbb{M}}^{\mathrm{c}}\) モデル) = 300 回のモデルの重み転送操作が必要です。

完全な分散トレーニングの場合、 \({\mathbb{M}}^{\mathrm{d}}\) が 4 つのワーカー ノードのそれぞれに割り当てられた 1,125 個の画像でトレーニングすると仮定します。マスター ノードにはデータがありません。オーケストレーターとして機能します。 分散トレーニング実行の場合、エポックにはサイズ 16 の 1125/16 ≈ 70.3 バッチが含まれます。 1 つのバッチで転送されるモデルの重みの数は、4 ワーカー * 2 回 (前後) = 4 つのワーカー間でバッチごとに 8 回の転送操作になります。ワーカーと 1 つのマスター ノード。 \({\mathbb{M}}^{\mathrm{d}}\) が 100 エポックでトレーニングされると仮定すると、ネットワークの重みが転送される合計回数は、70.3 バッチ * 8 バッチあたりの転送になります。操作 * 100 エポック = 56,240 のモデルの重み転送操作。 したがって、分散トレーニングを使用すると、精度は同等のレベルに維持されますが、平均転送回数は 187.5 回減少し、これは 56,000 回の転送から 300 回の転送に減少します。 データ転送の数は、関与するノードの数に比例して増加します。 提案された知識ベースの分散トレーニング アルゴリズムは、データ転送量の最適化に役立ち、特に分散 AI トレーニングが多数のノードで拡張される場合に、最終的にデータ転送コストを最小限に抑えることができます。

図 3 (1 クラスター) の結果は、特に最終モデルが各ノードで 5 または 8 エポックでトレーニングされた場合に、分散モデルの精度がベースラインを上回る可能性があることを示しており、これにより精度が最大 15% 向上します。 興味深い観察は、最終モデルが各ノードに長く留まると (つまり、エポック数が多くなると)、テスト セットの精度がベースラインの精度よりも悪くなるということです。 これは、分散モデルはローカル ノードのデータを過剰適合する傾向があり、以前に通過したノードで学習した内容を「忘れてしまう」ためです。

図 3 (3 クラスター) の結果は、分散 AI モデルの精度が、1 クラスター設定を使用した対応する分散 AI モデルと比較して約 10% 低下したことを示しています。 最終モデルもベースラインの結果より精度が低くなります。 1 クラスターの場合と同様、最終モデルが各ノードでより多くのエポックでトレーニングされると、テスト セットの精度は悪化しますが、予想されるネットワーク転送コストは減少します。

それにもかかわらず、この構成のパフォーマンスの低下は予想されるものであり、ノードのクラスタリングが最終的な分散モデルの汎用性とパフォーマンスにどの程度影響を与えるかを効果的に測定できます。 「方法」セクションでは、モデルの精度に対してデータ転送コストを最適化することで、ノードのクラスタリングによるパフォーマンスの低下に対処する手法について説明します。

医療データセットを検討する際、私たちは、胚選択用の市販の ML アプリケーションである Life Whisperer Viability と呼ばれる既存のアルゴリズムを使用して、体外受精部門における胚の生存率を評価する問題に焦点を当てました。 生存可能な胚は、一度移植された体外受精患者の臨床的妊娠につながる胚として定義され、非生存可能な胚は臨床的妊娠に至らない胚と考えられます。 胚の画像は複数の診療所から収集されました。 この医療データセットの説明は、医療データセットの構成の「方法」セクションの表 4 と図 6 に示されています。

図 4 は、特定の入力胚の生存可能または非生存を予測または識別するワークフローまたはプロセスを示しています。 このプロセスは次のように簡単に説明できます。 前処理と分類の段階があります。 前処理段階では、トレーニングされた検出モデルを利用して入力胚を検出し (a)、結果は境界ボックス (b) として表されます。 次に、胚画像のマスク (c) でトレーニングされた別のセグメンテーション モデルに入力する前に、画像がトリミングされ、最終的にプロセスによりさらに 2 つの画像 (透明帯 (Zona) でセグメント化された画像と帯内腔 (IZC) でセグメント化された画像) が生成されます。トリミングされた (フル) 画像 (d) に追加します。 分類段階では、これら 3 種類の画像が AI モデルと呼ばれる分類モデル (つまり、分散トレーニングの \({\mathbb{M}}\) モデル) への入力として使用されました。 この分類子モデルは、入力胚画像の生存可能または非生存の結果を予測する際に中心的な役割を果たします。

胚画像の生存可能性を予測/特定するワークフロー。

5 ノード 1 クラスター構成が使用され、各ノードには異なるクリニックからのデータが含まれていました。 モデル アーキテクチャのさまざまなオプション、つまり 3 レベルの損失関数の変数が AI モデルの調整可能なハイパーパラメーターへの追加とみなされるパラメーターを使用して、多数のモデル トレーニングの実行が実行されました (補足情報 S1 を参照)。 集中型トレーニングの場合は、サンプルとクラスの重み付けという 2 つの重み付けレベルを導入できますが、分散型モデルの場合は、3 つのレベルの重み付けがすべて適用されます。

最良の AI モデルは、検証セットの最良の対数損失値に基づいて選択されました。これは、医療データセットのバランスのとれた精度よりも堅牢な方法で一般化可能性を示す主要な選択メトリックを表します。

次に、クレンジングされたノイズの多いテスト セットの結果が取得され、ベースラインの集中型 AI (\({\mathbb{M}}^{c}\)) モデル間で比較されました。

表 3 は、胚データセットのベースラインおよび分散型 AI モデルのクラスごとの精度と合計精度を示しています。 その結果は、クラスごとの精度間のわずかなずれはあるものの、非常に類似しています。 \({\mathbb{M}}^{c}\) は、全体の精度の点でわずかに優れた結果をもたらし、ベースラインの結果と比較して生存可能な胚の予測精度が約 2% 向上しました。

図 5 は、クレンジングされたテスト セット (左側) とノイズの多いブラインド テスト セット (右側) に割り当てられた個々の臨床センターのデータに対する \({\mathbb{M}}^{c}\) モデルの結果を示しています。 ）。 精度は、テスト セット内の診療所のデータでは 56.67% ～ 87.77% の範囲にあり、ノイズの多いブラインド テスト セット内の診療所のデータでは 52.55% ～ 70.63% の範囲にあります。 クレンジングされたデータセットで最悪のパフォーマンスを示した 1 つの臨床データセット (MISA) は、セット全体で最小であるため、代表的なデータセットではありません (テスト セットの 3% を占める)。 それでも、さまざまなクリニックの精度は全体的に非常に一貫しています。

クレンジングされたテスト セット (左のグラフ) とノイズのあるブラインド テスト セット (右のグラフ) における個々のクリニック データに対する分散モデルの精度パフォーマンス。

分散され、プライベートで低品質な現実世界の多様な医療データセットを使用して、一般化可能で偏りのない AI モデルをトレーニングすることは、特に医療のような高度に規制された市場において、精度、コスト、スケーラビリティの点で重大な課題を引き起こします。

DAITA の実装には知識の蒸留が組み込まれており、バッチごとの勾配収集手順に伴うネットワーク トラフィックやサーバー コストなしで実現できるため、分散トレーニングと比較してはるかに低いコストでスケーラブルなモデル トレーニングを実行できます。 DAITA はさらに、パターンベースまたは DAG 構造に編成でき、自動化とコスト/精度の最適化に役立ちます。

驚くべきことに、モデルの最終的なパフォーマンスは、選択した構成によっては、従来の方法で一元化されたデータセットでトレーニングする場合のベースライン精度を超える可能性さえあります。 この精度の向上により、ノードからノードへの移行モデルの柔軟性と選択肢が向上し、分散トレーニング プロセスを最適化問題として扱うことができるようにハイパーパラメーターを調整できます。 非医療画像のケーススタディでは、既知のレベルの誤ったラベルを伴うバイナリ分類問題について、AI モデルのパフォーマンスがベースライン精度より最大 11% 向上することが示されました。

報告されているノイズの多いデータセットでのパフォーマンスの向上は、複数のノードにまたがって細分化されたデータにわたる蒸留トレーニングなどのフェデレーション学習手法の追加の安定化機能に起因すると理解できます。 各 Student モデルは、各ノードにわたる複数の Teacher モデルから抽出された入力を使用してトレーニングされ、各ノードから得られた個々のバイアスからの知識を組み合わせてモデルのトレーニングを安定させるため、集中化されたデータセットで単一のモデルを単純にトレーニングするよりも自然に利点が得られます。 。

胚生存率の二項分類問題に焦点を当てた医用画像データセットが検討されました。 作業慣行が異なり、ノイズと画質のレベルが異なるさまざまな個別の診療所が検討され、通常は堅牢な AI モデルの取得を妨げる現実のシナリオで遭遇する多くの課題が網羅されました。 DAITA 戦略を採用し、サンプル、クラス、ノード レベルの 3 レベルの重み付けでノード レベルのエポックの合計数を最適化することにより、集中ベースラインと比較して最大 2% のパフォーマンス向上が観察されました。

前立腺 MRI セグメンテーション 21 や乳房マンモグラフィー 22 などの医用画像処理における最先端の深層学習結果との比較では、一貫した傾向のフェデレーテッド アプローチにより、ローカル ノードでのみトレーニングされたモデルのパフォーマンスを大幅に向上させ、結果を報告できることが示されています。一元化されたデータセットのデータセットに匹敵します39。

クレンジングされたデータセットを使用すると、分散トレーニングとベースラインの間の精度の差が最小限に抑えられましたが、ノイズの多いデータセットを使用すると、両者の差がはるかに大きくなったことに注意してください。 DAITA に新しい損失関数 (補足情報 S1 を参照) と蒸留用の複数の教師モデルを装備すると、データ クレンジング技術と同様の精度の向上が得られることがわかりました 39,40。

さらなる最適化戦略を採用することもできます。この場合、ノード レベルのエポック数に関連付けられたハイパーパラメータを減らすか、ノードの DAG を別の方法で処理することによって、ノード レベルのエポックごとのモデル転送の合計数を減らすことができます。クラスタリングを行い、ノードではなくクラスタ間で代表的なモデルのみを転送します。 クラスタリングにより、ベースライン結果を上回る精度の向上は犠牲になりますが、必要なモデル転送の総数が大幅に削減されます。

ML 技術がヘルスケアやその他の機密データを扱う業界でますます複雑になる実世界のデータセットに拡張され、分布の異なる多様なデータセットを正しく一般化することが求められるため、データ プライバシーの問題とローカライズされたデータセットへの取り組みがますます重要になることに注意してください。プライバシーを侵害することなく。

分散データセットでのトレーニングでは、ワークロードを計算ノード間でどのように分割するかという戦略を選択する必要があります。 1 つの方法であるデータ並列処理では、データセットがパーティションに分割されます。 補足情報 S1 で説明されているように、完全分散トレーニングと「パターン」(または DAG ベースのトレーニング) という 2 つの形式のデータ並列処理の間で、パターン手法が優れたスケーラビリティと費用対効果を示すことを示します。 パターン手法と蒸留を組み合わせると、ML エンジニアがコストまたは精度のいずれかに関してソリューションを最適化できるように、トレーニング アルゴリズムの効率をさらに向上させることができます。

この記事では、n ノードのリング問題について考えます。この問題では、n ノードのそれぞれが個別に小規模データの問題に悩まされています。 n 個のノード上で高性能で一般化可能なモデルをトレーニングすることに成功しました。 さらに、教師モデルの転送先ノードをクラスター内に制限することで、モデル転送コスト (ノード数の増加に応じて二次関数的に増加) をさらに削減できる、新しいクラスタリング アルゴリズムを検討します。 この代替トポロジは、n ノードのリングを m 個の個別のリング クラスターに単純化します。各リングには必要に応じて異なる数のノードを含めることができ、各クラスターは代表的なモデルの作成に使用されます。 この時点から、クラスターはあらゆる目的でノードとして扱われます。 たとえば、15 ノード リングの場合、それぞれ 5 ノードのクラスターが 3 つあるため、モデル転送の合計は \({15}^{2}=225\) から \(3\times {5) に制限されます。 }^{2}+{3}^{2}=84\) ノードの回線ごとの転送。 詳細については、オンライン S1 の補足情報を参照してください。

蒸留は、バッチごとにノード間で高価なモデル重み付け更新を直接転送する必要がなく、トレーニングされた教師/専門家モデルを使用して学生/ジェネラリスト モデルのトレーニングをガイドする強力な方法です34。 これは、Student モデルがノード上でトレーニングしていると同時に、そのノード自身のローカル データセット (転送セットと呼ばれる) で教師モデルがその予測出力 (確率と損失) を計算し、トレーニング中の Student モデルの損失関数。 教師の出力 (またはソフト ラベル) は、カルバック・ライブラー (KL)-Divergence36 などの発散関数を介して生徒のモデルの出力と比較されます。この関数は、2 つのモデルの出力分布間の相対的な「距離」を比較し、損失を追加します。標準のクロスエントロピー損失など、トレーニングに使用される関数。 複数の教師モデルを使用して、異なる重み付けで同時に生徒モデルを支援することができ、同じ種類のニューラル ネットワーク アーキテクチャである必要がないため、強力で一般的なアプローチになります。 使用される損失関数の詳細とトレーニング アルゴリズムの擬似コードに関する追加の詳細は、補足情報 S1 に記載されています。

したがって、分散トレーニングの問題を単なる最適化問題としてキャストすることができます。ここで、生徒と教師の重み付けのための追加のハイパーパラメーター (つまり、トレーニングが教師モデルの入力に対してどの程度偏るかを制御する温度とアルファ パラメーター) を含めます。 Student モデルのトレーニング)36、およびパターン/DAG パラメータ (各 Student が別のノードに転送されるまでに存在するエポック数や、計算するすべてのノードにわたる「ラウンド」数など)。 最終的に抽出されたモデルのパフォーマンスは、特定の転送データセットで評価できます。

最終ステップとして、優れた一般化性を示す最終的な「クロージング」プロセスを検討します。 トポロジ全体で n 個のスチューデント モデルを並行して (n ノード分) トレーニングした後、最終的な n 個のモデルが各ノードで一緒に抽出され、各ノードのローカル データセットを転送データセットとして扱います。k エポック (ノード レベルで) の間、 n 個のモデルすべてを隣接ノードに転送し、ノードの少なくとも 1 つの完全なサイクルを繰り返します。 この最後のプロセスはネットワーク転送をより集中的に行いますが、基本的に単一ノードのデータセットを転送データセットとして使用するのではなく、分散データセット全体を転送データセットとして扱うため、よりバランスの取れたパフォーマンスが実現されます。

この研究で提示された実験で使用されたモデル アーキテクチャには、ImageNet データセットを使用して事前トレーニングされたモデルを備えた ResNet1837、ResNet50、および DenseNet12138 が含まれています。 ネットワーク パラメーターは、ベースラインのクレンジングされたデータセットを使用して複数の実行を実行することによって選択されます。 学習率、正則化方法、重み減衰、損失関数、バッチ サイズなどのハイパーパラメータの最適値が特定され、分散トレーニングのすべての実験を通じて使用されました。

上記で検討した各アーキテクチャについて、特徴空間のネットワーク重みは ImageNet で事前トレーニングされたモードから取得され、バイナリ出力 (猫/犬、または非実行可能/実行可能) で完全に接続された層を追加するためにネットワーク手術が実行されました。 、それぞれ非医療データセットと医療データセットの場合)。 ソフトマックス層が最終出力として追加されます。 ローカル モデルのトレーニングは、PyTorch ライブラリ (Torchvision バージョン 0.4.2 を含むバージョン 1.3.1、Adam Paszke、Sam Gross、Soumith Chintala、および Gregory Chanan; 1601 Willow Rd, Menlo Park, CA 94025, USA) と CUDA を使用して実施されました。サポート (バージョン 9; Nvidia Corporation; 2788 San Tomas Expy, Santa Clara, CA 95051, USA)、アマゾン ウェブ サービス (AWS) 経由で GPU インスタンスを使用します。

3 つの異なる DAG トポロジ、つまり (1) 1 クラスター内の 5 ノード、(2) 1 クラスター内の 15 ノード、および (3) 3 クラスター内の 15 ノード (それぞれ 5 ノード)。詳細については、以下で説明します。補足情報セクションS1、展開されました。 非医療データセットの場合、トレーニング、検証、テストのセットとは異なる、等しいクラスサイズの 2000 枚のクレンジング画像からなる別の転送データセットが分散トレーニング手順に使用されます。 トポロジ (2) および (3) に関係するノードが増えると、各ノードに割り当てられるイメージの数は少なくなります (5 ノード設定のノードあたり 720 のイメージと比較して、15 ノードの設定ではノードあたり 240 のイメージ)。

次の実験に使用されるデータセットには、ImageNet35 から取得した猫と犬の画像が含まれています。これは、新しい分散型 AI トレーニング技術を試すための既知の解決可能な問題としてバイナリ分類問題を使用することを目的としています。 4500 枚の画像 (2250 匹の猫と 2250 匹の犬) がトレーニング/検証セットに使用され、4501 枚の画像 (2253 匹の猫と 2248 匹の犬) がテスト セットとして使用されました。 トレーニング/検証はシャッフルされ、80/20 に分割され、トレーニング セットには 3600 枚の画像、検証セットには 900 枚の画像が含まれました。 検証セットは、異なるノード間で共有可能であると想定され、そうでない場合は、どのノードのデータからも分離された状態に保たれると想定されます。 これらの元のデータセットには、「犬」というラベルが付いた猫の画像がなく、その逆も同様であるため、クレンジングされたと見なされます。 トレーニングおよび検証データセットにノイズが導入されなければ、トレーニングされたディープ AI モデルはテスト セットで最大の精度に近づきます。 ノイズの多いデータセットは、問題の複雑さを活用し、新しい分散型トレーニングとより従来型の集中型トレーニング体制の違いを実証するのにも役立ちます。 さまざまなモデルが、ある程度のレベルのノイズを処理および克服する能力についてテストされました。 ノイズの多いデータセットは、「犬」ラベルの 10% を「猫」ラベル (クラス 0) に変換し、「猫」ラベルの 50% を「犬」ラベル (クラス 1) に変換することによって作成されました。 この結果、「猫」クラスと「犬」クラスに現れるノイズの量は、それぞれ 17% と 36% になります。 各クラスの異なるノイズ レベルは意図的なものであり、不均衡なクラス分布と 2 つのクラス間で不均一なノイズ レベルが生じています。 さまざまな AI モデルのパフォーマンスを確実に比較するために、テスト セットはクリーンな状態に保たれました。

1 クラスターの 5 ノードのシナリオでは、トレーニング データセットは各ノード間で均等に分割されます (ノードあたり 720 のトレーニング画像)。 各ノードのクリーン データには、「猫」または「犬」クラスの 360 個が含まれています。 ノイズが導入された場合、各ノードには 216 枚の猫の画像と 504 枚の犬の画像が含まれます。 15 ノードのシナリオでは、ノイズの多いデータの場合、各ノードで 240 枚の画像が利用可能で、72 枚の画像が猫としてラベル付けされ、168 枚の画像が犬としてラベル付けされます。 すべてのノードから合計された画像の数は 3600 のままです。集中モデルは、複数のハイパーパラメーターとモデル アーキテクチャ設定を使用して、3600 個のトレーニング画像と 900 個の検証画像 (クリーンまたはノイズのある) の集中セットでトレーニングおよび検証されました。 最適なモデルが選択され、後で新しい分散モデルの結果と比較するためのベースラインが形成されました。

次に、転送セットとしてノードのデータを使用するか、複数のノードのデータを組み合わせて使用​​して、転送セットの選択を検討しました。 各ノードでのスチューデント モデルのトレーニング期間 (エポック数) の影響は、エポック数を変化させることによって調査されました。これにより、トレーニング時に考慮すべき (ノード レベルの) 「エポック」の合計数に関する実際的な境界を決定することができます。蒸留トレーニングを使用して、複数のノードにわたるトレーニング プロセスを完了します。

別のシナリオでは、上記のクラスタリング方法を使用して、15 ノードが 3 つの等しいクラスタに分割されました。 データ転送 (ネットワーク) コストとモデルの精度の間のトレードオフが調査され、現実世界の実験用に分散トレーニングを最適化する方法に関するガイドが提供されました。

表 4 は、多施設臨床データセットから各ノードへのデータ割り当てを示しています。

データ サイズは、ノードごとに 167 ～ 587 画像の範囲で異なります。 トレーニング セットの画像の総数は 2193 で、検証セットはランダムに抽出され、元のトレーニング セットの 20% を占めます。 集中型モデルが導入されている場合、クリニック情報に関係なく、これらすべてのノードごとのデータが単一のサーバーにまとめて配置されます。 この一元化されたデータセットを使用してトレーニングされ、検証セットで検証されたモデルは、5 ノードの臨床データでトレーニングされた分散型モデルと比較するために使用されるベースライン結果を形成します。

ノイズの多いブラインド テスト セットには、Non-Viable クラスに固有のエラーが含まれています。 「生育不可能」とラベル付けされた胚は、生育可能である可能性がありますが、外部からの患者要因（重度の子宮内膜症など）により、患者は妊娠しません。 Noisy Blind データセットは、上記の 4 つのノード、つまり FANZ、IRH、OVA、MISA (これは 2 つの診療所からのより小さなデータセットの組み合わせです) に割り当てられた同じ診療所と、Alpha を含む他の 5 つの未確認の診療所から収集された 1198 枚の元の画像で構成されています。 Fertility (Alpha)、Flinders Fertility Adelaide (フリンダース)、生殖医療研究所 (IRH)、オレゴン生殖医療 (ORM)、Safe Fertility、およびセントルイスのワシントン大学 (ワシントン)。 したがって、Node3 (REP クリニック) はトレーニング セットにのみ寄与し、ノイズの多いブラインド テスト セットには合計 9 つのクリニックの代表者が含まれます。 臨床的に現実的な (ノイズは多いものの) ブラインド テスト セットにより、クリニック内およびクリニック間で AI モデルのパフォーマンス (精度と一般化可能性) を実際に評価することができました。

新しいデータ クレンジング手法 (UDC)41 を使用して、ノイズの多いブラインド テスト セットからクリーンなテスト セットも作成されました。 クリーンなテスト セットには 913 枚の画像が含まれており、生存可能な胚は元のノイズの多いデータセットとほぼ同じままですが、生存不能な胚の約半分は誤ってラベル付けされていると特定され、削除されました。 クレンジングされたテスト データセットにより、AI モデルのパフォーマンスについて公平な評価が得られます。

図 6 は、クリニックのデータ サイズをパーセンテージで示しています。 左側の円グラフは 5 ノード割り当てのトレーニング データセットを表し、中央と右側のグラフはそれぞれクレンジングされたテスト セットとノイズのあるブラインド テスト セットのクリニック データの分布を表します。 一般に、各クリニックから提供される画像データは、画像サイズや解像度、カメラの種類や焦点設定などが異なります。 テスト セットには、参加している診療所の数がより幅広く、それらの診療所から提供されたほぼ不均一なサイズのデータ​​セットが含まれています。 この多様性は、さまざまな診療所のデータにわたる一般化の観点から、分類器にとって重大な課題を引き起こす可能性があります。

クリニックのデータ サイズをパーセンテージで示します。 5 つのノードに割り当てられたクリニックのデータを含むトレーニング データセット (左)、クレンジングされたテスト セット (中央)、およびノイズのあるブラインド テスト セット (右)。

この研究は、分析の遡及的性質とすべてのデータの匿名化により、倫理審査と承認、およびインフォームドコンセントの要件から免除されました。 免除は、スターリング治験審査委員会 (Sterling Independent Services, Inc.) の委員会 ID #6467 (プロトコール ID LW-C-001A) によって確認されました。 この研究は、修正された 1975 年のヘルシンキ宣言のガイドラインに従って実施されました。

現在の研究中に生成されたデータセットは、合理的な要求に応じて責任著者から入手できます。 非医療データセットは公開されています。 データプライバシーの制限により、医療データセットは一般公開されていません。

エステバ、A.ら。 医療におけるディープラーニングのガイド。 ナット。 医学。 25、24–29 (2019)。

記事 CAS Google Scholar

Cahan, EM、Hernandez-Boussard, T.、Thadaney-Israni, S. & Rubin, DL ビッグデータでは、パーソナライズされたヘルスケアに対処するため、アルゴリズムよりもデータを優先します。 NPJ 桁。 医学。 2、78 (2019)。

Fitzgerald、RC ビッグデータはがんの早期発見に不可欠です。 ナット。 医学。 26、19–20 (2020)。

記事 CAS Google Scholar

ケンタッキー州 Ngiam 氏と W. コール氏。ヘルスケア提供のためのビッグデータと機械学習アルゴリズム。 ランセット・オンコル。 20(5)、e262–e273 (2019)。

記事 Google Scholar

McCoy, LG、Banja, JD、Ghassemi, M. & Celi, LA ヘルスケアのための機械学習がすべての人にとって有効であることを保証します。 BMJ Health Care Inform.、27(3) (2020)。

Zou, J. & Schiebinger, L. 生物医学 AI が多様な人々に利益をもたらすことを保証する。 EBioMedicine 67、103358 (2021)。

記事 Google Scholar

VerMilyea、M. et al. 体外受精中に光学顕微鏡で撮影した静止画像を使用した、胚の生存率を予測するための人工知能ベースの評価モデルの開発。 ハム。 リプロド。 35(4)、770–784 (2020)。

記事 CAS Google Scholar

Ng, D.、Lan, X.、Yao, MM、Chan, WP & Feng, M. フェデレーテッド ラーニング: 小規模なラベル付きデータセットを持つ個々のサイトに対して、より優れた医療画像モデルを実現するための共同作業。 量的。 画像診断医学。 外科。 11(2)、852–857 (2021)。

記事 Google Scholar

McGraw, D. & Mandl, KD 学習型健康システムにおける健康関連デジタル データの使用を促進するプライバシー保護。 NPJ 桁。 医学。 4、2 (2021)。

Bradford, L.、Aboy, M. & Liddell, K.、EU と米国間の医療データの国際転送: 米国が「適切な」レベルの保護を確保するための分野別のアプローチ。 J. Law Biosci. 7(1) (2020)。

Just、BH et al.、「患者の照合が課題である理由: 主要な識別分野におけるマスター患者指数 (MPI) データの不一致に関する研究。Perspect. Health Inf. Mang. 13、Spring (2016)」。

Zarour、M.ら。 デジタルヘルス時代における医療情報のデータ整合性を確保します。 ヘルスc. テクノロジー。 レット。 8(3)、66–77 (2021)。

記事 Google Scholar

Ehsani-Moghaddam, B.、Martin, K. & Queenan, JA ヘルスケアにおけるデータ品質: カナダのプライマリケア監視ネットワーク データに関する実践的な経験のレポート。 健康情報管理。 J. 50(1/2)、88–92 (2021)。

Google スカラー

McMahan, HB、Moore, E.、Ramage, D.、Hampson, S.、Aguera y Arcas, B. 分散データからのディープネットワークの通信効率の高い学習。 第 20 回人工知能と統計に関する国際会議議事録、1273 ～ 1282 (2017)。

Bonawitz、K.、他。 大規模なフェデレーション ラーニングに向けて: システム設計。 第 2 回 SysML カンファレンス (2019 年) の議事録。

Kairouz、H.、他。 フェデレーション ラーニングの進歩と未解決の問題。 基礎とトレンド®。 マッハ。 学ぶ。 14(1) (2021)。

リム、WYBら。 モバイル エッジ ネットワークにおけるフェデレーション ラーニング: 包括的な調査。 IEEE コミューン。 生き残る。 家庭教師。 22(3)、2031–2063 (2020)。

記事 Google Scholar

ダヤン、I.ら。 新型コロナウイルス感染症患者の臨床転帰を予測するための連合学習。 ナット。 医学。 27、1735–1743 (2021)。

記事 CAS Google Scholar

Hallock, H.、Marshall, SE、't Hoen, PAC、Nygård, JF、Hoorne, B.、Fox, C.、Alagaratnam, S. 健康データの分散分析のためのフェデレーション ネットワーク。 フロント。 公衆衛生。 9、712569 (2021)。

ブリシミ、TS 他。 統合された電子医療記録からの予測モデルの統合学習。 内部。 J.Med. 知らせる。 112、59–67 (2018)。

記事 Google Scholar

Sarma、KV et al. フェデレーション ラーニングは、データを共有せずにマルチセンター ディープ ラーニングでのサイトのパフォーマンスを向上させます。 混雑する。 医学。 知らせる。 准教授 28(6)、1259–1264 (2021)。

記事 Google Scholar

Roth, HR ら、「乳房密度分類のためのフェデレーテッド ラーニング: 現実世界の実装」、『ドメイン適応と表現伝達、分散および協調学習』、Springer、181 ～ 191 (2020)。

シェラー、MJ 他医学におけるフェデレーテッド ラーニング: 患者データを共有せずに多施設のコラボレーションを促進します。 科学。 議員 10(1)、12598 (2020)。

記事 ADS Google Scholar

Warnat-Herresthal, S. et al. 分散型かつ機密性の高い臨床機械学習のための群学習。 Nature 594(7862)、265–270 (2021)。

記事 ADS CAS Google Scholar

テデスキーニ、BC et al. 医療ネットワークのための分散型フェデレーテッド ラーニング: 腫瘍のセグメンテーションに関するケーススタディ。 IEEE Access 10、8693–8708 (2022)。

記事 Google Scholar

Yang, Q.、Liu, Y.、Chen, T. & Tong, Y. フェデレーテッド機械学習: 概念とアプリケーション。 ACMトランス。 知性。 システム。 テクノロジー。 10、2 (2019)。

Google スカラー

McMahan, HB、Moore, E.、Ramage, D.、Hampson, S.、および Arcas, BA Y、分散データからのディープ ネットワークの通信効率の高い学習。 国際的には会議アーティフ。 知性。 統計 AISTATS (2017)。

Huang、Y.ら。 非 IID データに関するパーソナライズされたサイロ間フェデレーテッド ラーニング。 手順 AAAI会議アーティフ。 知性。 35(9)、7865–7873 (2021)。

Google スカラー

Kaissis, GA et al. 医療画像における安全でプライバシーを保護した連携機械学習。 ナット。 マッハ。 知性。 2、305–311 (2020)。

記事 Google Scholar

Madi, A. 他、準同型暗号化と検証可能なコンピューティングを使用した安全なフェデレーテッド ラーニング フレームワーク。 2021 年のデータ分析、自動化、プライバシー、セキュリティの調整: ビッグ データの課題 (RDAAPS)、2021 年、1 ～ 8 ページ。

Stripelis, D. ら、準同型暗号化によるフェデレーテッド ラーニングを使用した安全なニューロイメージング分析。 プロセスで。 SPIE 12088、第 17 回医療情報の処理と分析に関する国際シンポジウム、1208814 (2021)。

Rabenseifner、R. 集団削減操作の最適化。 計算科学に関する国際会議 (ICCS) (2004 年)。

Gibiansky, A. HPC 技術をディープラーニングに導入。 http://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/ から取得 (2017)。 2022 年 1 月 24 日にアクセス。

Gou, J.、Yu, B.、Maybank, SJ & Tao, D. 知識の蒸留: 調査。 内部。 Ｊ．Ｃｏｍｐｕｔ． ヴィス。 129、1789–1819 (2021)。

記事 Google Scholar

Deng, J. 他、Imagenet: 大規模な階層型画像データベース。 IEEE コンピューティング。 社会会議計算します。 ヴィス。 パターン認識。 248–255 (2009)。

Kullback, S. & Leibler, RA 情報と十分性について。 アン。 数学。 統計 22(1)、79–86 (1951)。

記事 MathSciNet Google Scholar

He, K.、Zhang, X.、Ren, S.、Sun, J. 画像認識のための深層残差学習。 IEEE コンピューティング。 社会会議計算します。 ヴィス。 パターン認識。 770–778 (2016)。

Huang, G.、Liu, Z.、Van Der Maaten, L. & Weinberger, KQ 高密度に接続された畳み込みネットワーク。 IEEE コンピューティング。 社会会議計算します。 ヴィス。 パターン認識。 4700–4708 (2017)。

エヌビディア株式会社 NVIDIA Clara を使用した医療向けフェデレーション ラーニング。 （2021年）。

Xue、C.、Yu、L.、Chen、P.、Dou。 Q. & Heng、P. -A. グローバルおよびローカル表現に基づく共同トレーニングによる、ノイズの多いラベル付きデータからの堅牢な医療画像分類。 IEEEトランス。 医学。 イメージング (2021)。

マサチューセッツ州ダッカら。 低品質データの自動検出: 医療におけるケーススタディ。 科学。 議員 11(1)、18005 (2021)。

記事 ADS CAS Google Scholar

リファレンスをダウンロードする

この記事は、Presagen Pty Ltd、南オーストラリア州政府の研究、商業化、スタートアップ基金から資金提供を受けました。

この作品は、JMM ホールと D. ペルジーニの著者が共同で監修しました。

プレサーゲン、アデレード、SA、5000、オーストラリア

TV グエン、MA ダッカ、SM ディアキウ、M. ペルジーニ、JMM ホール、D. ペルジーニ

School of Computing and Information Technology、University of Wollongong、ウロンゴン、ニューサウスウェールズ州、2522、オーストラリア

テレビ・グエン

アデレード大学数理科学部、アデレード、SA、5005、オーストラリア

MA ダッカ

Ovation Fertility、オースティン、テキサス州、78731、米国

MD ヴァーミリエ

テキサス不妊センター、オースティン、テキサス州、78731、米国

MD ヴァーミリエ

アデレード医科大学、アデレード大学、アデレード、SA、5000、オーストラリア

M.ペルジーニ

Australian Research Council Center of Excellence for Nanoscale BioPhotonics、アデレード、SA、5005、オーストラリア

JMMホール

アデレード大学物理科学部、アデレード、SA、5005、オーストラリア

JMMホール

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

DPがコンセプトを発明し、TVNがアルゴリズムを設計し、MADとJMMHとTVNとDPが実験を考案し、MADとJMMHとTVNが実験を実施、MVが臨床データと臨床レビューを提供し、DPとMADとJMMHとTVNとSMDとMPが草案を作成した原稿を執筆し、結果に対する批判的なレビューを提供しました。

TVグエンへの対応。

JMMH、DP、MP は Presagen の共同所有者です。 SMD と TVN は Presagen の従業員であり、Presagen のストックオプションを所有しています。 MAD は Presagen の元従業員です。 MDV は Presagen 臨床科学諮問委員会 (CSAB) のメンバーであり、Presagen のストック オプションを所有しています。 MDV は、Ovation Fertility からもカンファレンスや会議への出席をサポートされており、Fujifilm Irvine Scientific SAB のメンバーでもあります。 仮特許出願人: Presagen Pty Ltd 出願日: 2020 年 9 月 23 日 タイトル: 分散型人工知能 (AI)/機械学習トレーニング システム番号: 2021056043 ステータス: 出願中 仮特許出願人: Presagen Pty Ltd 出願日: 2021 年 3 月 30 日 タイトル: 方法人工知能 (AI) 向けモデル選択番号: 2021195689 ステータス: 保留中。

シュプリンガー ネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

グエン、TV、ダッカ、マサチューセッツ州、ディアキウ、SM 他世界中に分散され、品質が低く、保護されたプライベート医療データをトレーニングするための、新しい分散型フェデレーテッド ラーニング アプローチ。 Sci Rep 12、8888 (2022)。 https://doi.org/10.1038/s41598-022-12833-x

引用をダウンロード

受信日: 2022 年 2 月 18 日

受理日: 2022 年 5 月 6 日

公開日: 2022 年 5 月 25 日

DOI: https://doi.org/10.1038/s41598-022-12833-x

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

生殖補助医療と遺伝学ジャーナル (2023)

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。