メッシュアーキテクチャが切り開く新たなデータアナリティクス～第4回プラットフォームとして担保するガバナンス

2022-10-11

メッシュアーキテクチャを支える機能群

メッシュアーキテクチャでは、各ドメインが自律的にデータプロダクト開発とその維持を行うことでアジリティを向上させることを目的としています。一方各ドメインがこれを達成するためのサポート機能を提供する必要があります。

サポート機能としては、各ドメインが必要とするデータ処理に必要なコンピュートリソースやストレージ、安全・安心にデータを取り扱うためのセキュリティとアクセスコントロール機能があり、加えてそれらを前提に各ドメインが自律的かつ効率的に開発や運用を行える機能が必要となります。さらにこれら機能には共通して定義したルールやポリシーなどを適用する必要もあります。

第4回は、「プラットフォームとして担保するガバナンス」と題して、各ドメインが必要とするシステム環境（「プラットフォーム」）のあるべき姿について、特に「自律的な開発や運用」に着目していきます。

メッシュアーキテクチャを実現するプラットフォームとは

各ドメインが自律的にデータプロダクトを開発しその維持を行うためには、以下の機能が必要となります。

コンピュートリソースとストレージ
業務システムに利用されるもの以外に、多様かつ大容量データ処理や機械学習処理に特化したものなど、データプロダクトの特徴、用途に応じて選択できるコンピュートリソースやストレージ、データベース機能

セキュリティとアクセスコントロール
データの暗号化とそのための鍵管理や、アクセス権およびデータ操作権限の管理など、データプロダクトの安全性を保証するための機能

開発運用管理機能
データプロダクトを開発しリリースするための一連のプロセスを自動化、省力化するための開発支援機能や、データプロダクトの稼働状況などを把握するためのモニタリング機能、さらにデータプロダクトそのものを管理する構成管理機能や必要に応じた課金管理などの機能

図表1に、メッシュアーキテクチャのプラットフォームとして提供すべき機能を挙げます。

このうち、「コンピュートリソースとストレージ」や「セキュリティとアクセスコントロール」は、現在大手クラウドサービス企業からさまざまな機能が提供され、これを利用することで事業ドメインの担当者も比較的容易に実装し、利用できるようになっています。

一方「開発運用管理機能」は、比較的システム開発や運用の経験が求められることに加え、データプロダクトという要素も加味した機能が必要となります。次に開発運用管理機能に注目して必要な機能を考えていきます。

データプロダクトの開発運用管理機能

最初に開発においては、言語やそれに対応するライブラリが論点となります。データプロダクトは、SQL、Pythonといった言語で構成されることが多く、それらに対応する機械学習用のライブラリなどが多数存在し、かつバージョンも短期間でアップデートされます。業務システムであれば、開発担当者全員が同じ言語、ライブラリを使用することを求められますが、データプロダクトではライブラリによって分析結果や精度が異なることもあるため、事業ドメインの開発担当者が自由に選択できる状態が求められます。その状態を実現するため、コンテナ技術を活用し、開発担当者単位でデータプロダクトの実行環境を提供するといった例が挙げられます。

さらにデータプロダクトは、業務システムと比較してライフサイクルが短く、高い頻度で更新されるケースが多いことも特徴として挙げられます（図表2）。A/Bテストを繰り返し実施して都度最適解を適用するようなリコメンドプログラムや、日々変わるデータをもとに機械学習モデルを再学習させシミュレーションに適用するといったケースがこれに当たります。これを実現するため、データプロダクトに対するテストやデプロイ、リリースといった作業を極力自動化して高速にプロセスを回すCI/CD（Continuous Integration：継続的インテグレーション／Continuous Delivery：継続的デリバリー）環境が求められます。

運用においては、稼働監視や不正アクセス監視といった業務システムと同様のシステム監視機能に加え、データプロダクトとしての監視も必要となります。例えば、分析モデルを作成した際に利用したデータに対して、運用で得られたデータの分布などが異なる傾向となる場合、分析モデルの精度が悪化することがあります。ECサイトに開発担当者の意図通りにレコメンドが表示されないといったケースが例として挙げられますが、それを防ぐために、入力データの分布状況の変化やレコメンドの表示状況などをモニタリングするといった機能が必要です。加えて、モニタリングなどで異常を検知した場合、その分析モデルの利用を停止して再学習をさせたり、あらかじめ定めたルールベースの結果表示に迅速に切り替えたりといった代替モデル機能も必要となる場合があります。

さらにデータプロダクトに対して課金が発生する場合は、その課金を管理する機能も必要であり、またそれを利用者にとって適正に行うための構成管理機能も必要となります。

ガバナンスからの要求機能

メッシュアーキテクチャのプラットフォームでは、各ドメインと中央組織で取り決めたポリシーやルールを仕組みとして実装することも要求事項となります。代表的なものは、データカタログで管理するメタデータが挙げられ、どういったメタデータを利用者に提供するかといったルールが決まれば、そのルールに従いプラットフォームがメタデータを収集し、ルールに準拠していない場合はその検知と通知を行うといった機能が必要となります。

また、データ品質にかかる統制の観点からデータファイルの形式（カンマ区切りかタブ区切りかなど）に対するチェック機能や、個人情報といった機密情報を扱う場合の各種法例・基準への順守性などのチェック機能、利用しているライブラリに脆弱性が見つかった場合の検知機能なども必要となるでしょう。これらはデータそのものだけでなく、前述したAIや機械学習を組み込んだデータプロダクトの運用に関する監視機能なども対象となります（図表3）。

これらの要求機能には、ポリシーやルールの変更後のデータプロダクトから適用してもよいものと、変更前のデータプロダクトにも適用しなければいけないものがあります。そのためメッシュアーキテクチャでは、プラットフォーム自体も複数のバージョンが両立可能な形で運用が必要という点が最も実現難易度が高く、ともすれば管理自体が複雑化してしまい、本来目指していたアジリティの向上を妨げることになるため、ガバナンスの検討の中でそれを十分に考慮した上で実装していく必要があります。

プラットフォームとしての持続可能性

メッシュアーキテクチャにおけるプラットフォームの役割は、各ドメインのデータプロダクト開発と維持に必要となるさまざまな支援機能を提供することです。重要なのは、各ドメインのニーズと連邦型ガバナンスからの要求とのバランスをとり、サイロ化を防ぎつつ統制を強めすぎないこと、つまり統制機能を過度に実装しないといったことです。

プラットフォームにどこまで統制機能を実装するかを判断するのが、「ガバナンス」の役割となります。次回は「ドメインと中央組織が連携したガバナンス」をご紹介します。