分散システムでは一貫性(C)、可用性(A)、分断耐性(P)の3つを同時に満たせないという定理です。

データ指向アプリケーション設計とは｜分散システムの原理と実践 | ブログ

Q: データ指向アプリケーションとは？

データの量、複雑さ、変化速度が主な課題となるアプリケーションです。適切なデータモデルと分散処理が重要になります。

データ指向アプリケーション設計【分散システムの原理と実践2025】

大規模データを扱うアプリケーション設計は、2025年のソフトウェアエンジニアリングにおける最重要スキルの一つです。本記事では、Martin Kleppmannの名著「Designing Data-Intensive Applications」の原理を基に、最新のクラウドネイティブ技術を組み合わせた実践的な設計パターンを解説します。

データ指向アプリケーションとは

定義

**データ指向アプリケーション（Data-Intensive Applications）**とは、計算量よりもデータ量が主なボトルネックとなるシステムを指します。

従来型 vs データ指向

特性	従来型アプリケーション	データ指向アプリケーション
ボトルネック	CPU処理能力	データ量、複雑さ、変化速度
スケーリング	垂直（マシンスペックアップ）	水平（マシン台数増加）
データ量	GB単位	TB〜PB単位
障害対策	単一マシンの冗長化	分散システム全体の耐障害性
代表例	社内業務システム	Netflix、Twitter、Uber

基本的な3つの要求

1. Reliability（信頼性）

システムが障害が発生しても正しく動作し続ける能力。

障害の種類

障害タイプ	発生頻度	対策
ハードウェア障害	高	レプリケーション
ソフトウェアエラー	中	カオスエンジニアリング
ヒューマンエラー	高	自動化、テスト

実装例：Netflix Chaos Monkey

import random
import time
from kubernetes import client, config

class ChaosMonkey:
    """本番環境でランダムにPodを削除してシステムの耐障害性をテスト"""

    def __init__(self):
        config.load_kube_config()
        self.v1 = client.CoreV1Api()

    def terminate_random_pod(self, namespace="production"):
        """ランダムなPodを強制終了"""

        # 全Podを取得
        pods = self.v1.list_namespaced_pod(namespace)

        if len(pods.items) == 0:
            return

        # ランダムに1つ選択
        target_pod = random.choice(pods.items)

        print(f"Terminating pod: {target_pod.metadata.name}")

        # Pod削除
        self.v1.delete_namespaced_pod(
            name=target_pod.metadata.name,
            namespace=namespace,
            body=client.V1DeleteOptions()
        )

    def run(self, interval=3600):
        """定期的にPodを削除（デフォルト1時間ごと）"""

        while True:
            if random.random() < 0.1:  # 10%の確率で実行
                self.terminate_random_pod()

            time.sleep(interval)

# 使用例
monkey = ChaosMonkey()
monkey.run()

2. Scalability（スケーラビリティ）

システムが負荷増加に対応できる能力。

スケーリング戦略

垂直スケーリング（Scale Up）
├─ CPU増強：4コア → 32コア
├─ メモリ増強：16GB → 256GB
└─ 限界：単一マシンの物理的上限

水平スケーリング（Scale Out）
├─ サーバー台数増加：1台 → 100台
├─ データシャーディング
└─ 理論上無限にスケール可能

実装例：Auto Scaling

# Kubernetes Horizontal Pod Autoscaler
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: api-server-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: api-server
  minReplicas: 2
  maxReplicas: 50
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: 80
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 60
      policies:
      - type: Percent
        value: 50  # 50%ずつ増加
        periodSeconds: 60
    scaleDown:
      stabilizationWindowSeconds: 300
      policies:
      - type: Pods
        value: 1  # 1台ずつ減少
        periodSeconds: 60

3. Maintainability（保守性）

システムが長期的に維持・改善しやすい能力。

保守性の3原則

原則	説明	実装方法
Operability	運用しやすさ	監視、ログ、自動化
Simplicity	シンプルさ	マイクロサービス、疎結合
Evolvability	進化可能性	API versioning、Feature flags

データモデルの選択

SQL vs NoSQL：2025年の最適解

要件	推奨データベース	理由
トランザクション整合性	PostgreSQL	ACID保証
高速な書き込み	Cassandra	分散書き込み最適化
複雑な関係性	Neo4j	グラフDB
全文検索	Elasticsearch	検索特化
キャッシュ	Redis	インメモリ高速
時系列データ	InfluxDB	時系列最適化
ドキュメント管理	MongoDB	柔軟なスキーマ

Polyglot Persistence（複数DB併用）

Eコマースシステムの例

PostgreSQL（商品マスタ、注文）
├─ ACID保証が必要
├─ 複雑なJOIN
└─ トランザクション処理

Redis（セッション、カート）
├─ 高速アクセス
├─ TTL設定
└─ インメモリキャッシュ

Elasticsearch（商品検索）
├─ 全文検索
├─ ファセット検索
└─ レコメンド

MongoDB（ユーザーログ）
├─ 柔軟なスキーマ
├─ 大量の書き込み
└─ 分析用データ

レプリケーションとパーティショニング

レプリケーション戦略

1. Single-Leader Replication

Master (書き込み)
  ↓ 非同期レプリケーション
Replica1 (読み込み)
Replica2 (読み込み)
Replica3 (読み込み)

メリット：シンプル、高速
デメリット：マスター障害時にダウンタイム

実装例（PostgreSQL）

-- プライマリサーバー設定
-- postgresql.conf
wal_level = replica
max_wal_senders = 3
wal_keep_size = 64MB

-- pg_hba.conf
host replication replicator 10.0.0.0/24 md5

-- レプリカサーバー設定
-- recovery.conf
standby_mode = 'on'
primary_conninfo = 'host=10.0.0.1 port=5432 user=replicator password=secret'
trigger_file = '/tmp/postgresql.trigger.5432'

2. Multi-Leader Replication

Leader1 (US East) ⟷ Leader2 (Europe) ⟷ Leader3 (Asia)
  ↓                    ↓                    ↓
Replicas            Replicas             Replicas

メリット：グローバル分散、低レイテンシ
デメリット：コンフリクト解決が複雑

3. Leaderless Replication (Quorum)

クライアント
  ↓ 並列書き込み
Node1, Node2, Node3, Node4, Node5

書き込み成功条件：W = 3（過半数）
読み込み成功条件：R = 2
W + R > N を満たす必要あり

実装例（Cassandra）

-- Cassandraのクォーラム設定
CREATE KEYSPACE ecommerce
WITH replication = {
  'class': 'NetworkTopologyStrategy',
  'us-east': 3,
  'europe': 3,
  'asia': 2
};

-- 書き込み時のConsistency Level
INSERT INTO orders (order_id, user_id, total)
VALUES (uuid(), 12345, 199.99)
USING CONSISTENCY QUORUM;  -- 過半数のノードに書き込み成功で完了

-- 読み込み時のConsistency Level
SELECT * FROM orders
WHERE user_id = 12345
CONSISTENCY QUORUM;  -- 過半数のノードから読み込み

パーティショニング（シャーディング）

Key-Based Partitioning

def get_partition(user_id, num_partitions=16):
    """ユーザーIDをハッシュ化してパーティションを決定"""
    return hash(user_id) % num_partitions

# 例：
user_id = 12345
partition = get_partition(user_id)  # partition = 9
# → Shard 9に保存

Range-Based Partitioning

Shard 1: user_id 1 ~ 1,000,000
Shard 2: user_id 1,000,001 ~ 2,000,000
Shard 3: user_id 2,000,001 ~ 3,000,000
...

メリット：範囲検索が高速
デメリット：不均等な分散（ホットスポット）

トランザクションと整合性

ACID vs BASE

特性	ACID（SQL）	BASE（NoSQL）
Atomicity	全か無か	ベストエフォート
Consistency	常に整合性	結果整合性
Isolation	厳密な分離	緩い分離
Durability	永続保証	永続保証

分散トランザクション：Saga Pattern

from enum import Enum

class SagaState(Enum):
    PENDING = 1
    COMPLETED = 2
    COMPENSATING = 3
    FAILED = 4

class OrderSaga:
    """注文処理のSagaパターン実装"""

    def __init__(self):
        self.state = SagaState.PENDING
        self.completed_steps = []

    async def execute(self, order):
        """Sagaの実行"""
        try:
            # Step 1: 在庫確保
            inventory_reserved = await self.reserve_inventory(order)
            self.completed_steps.append('inventory')

            # Step 2: 決済処理
            payment_processed = await self.process_payment(order)
            self.completed_steps.append('payment')

            # Step 3: 配送手配
            shipping_arranged = await self.arrange_shipping(order)
            self.completed_steps.append('shipping')

            self.state = SagaState.COMPLETED
            return True

        except Exception as e:
            # エラー発生時は補償トランザクションを実行
            self.state = SagaState.COMPENSATING
            await self.compensate()
            self.state = SagaState.FAILED
            return False

    async def compensate(self):
        """補償トランザクション（ロールバック）"""

        # 逆順で補償
        for step in reversed(self.completed_steps):
            if step == 'shipping':
                await self.cancel_shipping()
            elif step == 'payment':
                await self.refund_payment()
            elif step == 'inventory':
                await self.release_inventory()

    async def reserve_inventory(self, order):
        """在庫確保"""
        # 在庫サービスAPI呼び出し
        response = await inventory_service.reserve(order.items)
        if not response.success:
            raise Exception("在庫不足")
        return response

    async def release_inventory(self):
        """在庫解放（補償）"""
        await inventory_service.release(self.reservation_id)

イベント駆動アーキテクチャ

Change Data Capture (CDC)

PostgreSQL
  ↓ WAL (Write-Ahead Log)
Debezium (CDC)
  ↓ Kafka
Consumer 1: Elasticsearch（検索インデックス更新）
Consumer 2: Redis（キャッシュ無効化）
Consumer 3: Analytics DB（分析）

実装例（Debezium）

{
  "name": "postgres-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "postgres.example.com",
    "database.port": "5432",
    "database.user": "debezium",
    "database.password": "secret",
    "database.dbname": "ecommerce",
    "database.server.name": "prod-db",
    "table.include.list": "public.orders,public.products",
    "plugin.name": "pgoutput"
  }
}

Event Sourcing

from dataclasses import dataclass
from datetime import datetime
from typing import List

@dataclass
class Event:
    """イベントの基底クラス"""
    event_id: str
    aggregate_id: str
    timestamp: datetime

@dataclass
class OrderCreated(Event):
    user_id: int
    items: List[dict]
    total: float

@dataclass
class PaymentProcessed(Event):
    payment_id: str
    amount: float

@dataclass
class OrderShipped(Event):
    tracking_number: str

class OrderAggregate:
    """注文の集約"""

    def __init__(self, order_id):
        self.order_id = order_id
        self.events = []
        self.state = {}

    def apply_event(self, event):
        """イベントを適用して状態を更新"""

        self.events.append(event)

        if isinstance(event, OrderCreated):
            self.state['status'] = 'created'
            self.state['total'] = event.total
            self.state['items'] = event.items

        elif isinstance(event, PaymentProcessed):
            self.state['status'] = 'paid'
            self.state['payment_id'] = event.payment_id

        elif isinstance(event, OrderShipped):
            self.state['status'] = 'shipped'
            self.state['tracking_number'] = event.tracking_number

    def get_current_state(self):
        """現在の状態を取得（全イベントをリプレイ）"""

        state = {}
        for event in self.events:
            self.apply_event(event)

        return self.state

# 使用例
order = OrderAggregate(order_id="ORDER-12345")
order.apply_event(OrderCreated(
    event_id="evt-1",
    aggregate_id="ORDER-12345",
    timestamp=datetime.now(),
    user_id=12345,
    items=[{"sku": "BOOK-001", "qty": 2}],
    total=2999.0
))
order.apply_event(PaymentProcessed(
    event_id="evt-2",
    aggregate_id="ORDER-12345",
    timestamp=datetime.now(),
    payment_id="PAY-67890",
    amount=2999.0
))

print(order.get_current_state())
# {'status': 'paid', 'total': 2999.0, 'items': [...], 'payment_id': 'PAY-67890'}

監視とオブザーバビリティ

The Three Pillars

Pillar	目的	ツール例
Metrics	システムの健全性	Prometheus, Datadog
Logs	デバッグ情報	Elasticsearch, Loki
Traces	リクエストの追跡	Jaeger, Zipkin

実装例：OpenTelemetry

from opentelemetry import trace, metrics
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.jaeger.thrift import JaegerExporter

# トレーサー設定
trace.set_tracer_provider(TracerProvider())
jaeger_exporter = JaegerExporter(
    agent_host_name="jaeger",
    agent_port=6831
)
trace.get_tracer_provider().add_span_processor(
    BatchSpanProcessor(jaeger_exporter)
)

tracer = trace.get_tracer(__name__)

# 使用例
@tracer.start_as_current_span("process_order")
def process_order(order_id):
    with tracer.start_as_current_span("validate_order"):
        validate(order_id)

    with tracer.start_as_current_span("charge_payment"):
        charge_payment(order_id)

    with tracer.start_as_current_span("update_inventory"):
        update_inventory(order_id)

    return {"status": "success"}

まとめ：2025年のベストプラクティス

設計原則

単一障害点を排除：すべてのコンポーネントを冗長化
水平スケーリング前提：ステートレスな設計
非同期処理の活用：イベント駆動アーキテクチャ
適切なDB選択：Polyglot Persistence
監視第一：オブザーバビリティの組み込み

推奨技術スタック（2025年）

アプリケーション層
├─ Kubernetes（オーケストレーション）
├─ Istio（サービスメッシュ）
└─ gRPC（マイクロサービス間通信）

データ層
├─ PostgreSQL（トランザクション）
├─ Redis（キャッシュ）
├─ Kafka（イベントストリーミング）
└─ Elasticsearch（検索）

監視層
├─ Prometheus（メトリクス）
├─ Grafana（可視化）
├─ Jaeger（トレーシング）
└─ Loki（ログ）

データ指向アプリケーションの設計は、単一の技術で解決できるものではありません。ビジネス要件、スケール、予算を総合的に判断し、最適なアーキテクチャを選択することが重要です。

画像生成プロンプト集（DALL-E 3 / Midjourney用）

プロンプト1：データ指向アプリケーションのアーキテクチャ図

Technical architecture diagram showing data-intensive application components. Layers: application layer (Kubernetes, microservices), data layer (PostgreSQL, Redis, Kafka, Elasticsearch), monitoring layer (Prometheus, Grafana). Clean system architecture style, blue and white color scheme, arrows showing data flow.

プロンプト2：レプリケーション戦略の比較図

Three-panel comparison diagram showing database replication strategies: single-leader, multi-leader, and leaderless replication. Each panel shows server nodes with arrows indicating data flow. Technical illustration style, color-coded by strategy type, white background.

プロンプト3：Sagaパターンのフロー図

Flowchart illustrating Saga pattern for distributed transactions. Shows sequential steps (reserve inventory → process payment → arrange shipping) with compensating transactions (rollback) in red. Technical diagram style, green for success path, red for compensation, arrows and decision points.

プロンプト4：イベント駆動アーキテクチャ

Event-driven architecture diagram with Change Data Capture. PostgreSQL → Debezium → Kafka → multiple consumers (Elasticsearch, Redis, Analytics DB). Stream processing visualization, purple and blue gradient, modern tech aesthetic, flowing data streams.

プロンプト5：オブザーバビリティの3本柱

Infographic showing three pillars of observability: Metrics (Prometheus), Logs (Elasticsearch), Traces (Jaeger). Three columns with icons, example dashboards, and tool logos. Professional monitoring dashboard aesthetic, dark background with colorful charts and graphs.

著者について

DX・AI推進コンサルタント
大手企業グループのDX推進責任者・顧問CTO | 長年のIT・DXキャリア | AWS・GA4・生成AI活用を専門に実践ノウハウを発信中

➡️ お問い合わせ・ご相談はこちら

#データアーキテクチャ #システム設計 #スケーラビリティ #分散システム #データベース

最終更新: 2025-11-16

データ指向アプリケーション設計【大規模システム構築の完全ガイド2025】