自己紹介

Article Overview

AWSクラウドでよく利用される基本的なサービスの構築方法や、SpringBootをベースとしてクラウド特有の特徴を活用したアプリケーションを実装する際の基本事項をまとめた連載記事

サーバレス編

• (1) Spring Cloud Functionを使ったLambdaファンクション実装
• (2) AWS Lambdaの設定
• (3) Amazon API Gatewayの設定

ECSコンテナ編

RDS(PostgreSQL)編

(11) RDS(RelationalDatabaseService)の構築
(12) Spring Cloud AWSとSpring Data JPAを使った実装(設定)
(13) Spring Cloud AWSとSpring Data JPAを使った実装(処理実装)

NoSQL編

(14) NoSQL基礎解説(CAP定理による分類)
(15) NoSQL基礎解説(AP型データベースの特徴)

NoSQL編

(16) AmazonDynamoDBの構築
(17) Spring Data DynamoDBを使った実装(設定)
(18) Spring Data DynamoDBを使った実装(処理実装)

NoSQL編

S3編(今月から公開)

(25) AmazonS3バケットの構築とアップロード
(26) SpringCloudAWSを使ったファイルダウンロード・アップロード実装(設定)
(27) SpringCloudAWSを使ったファイルダウンロード・アップロード実装(処理実装)

SQS編(来月から公開)

SQS+SpringCloudAWSを使用したオンライン非同期処理パターン(Producer)
ディレードバッチやクラウドサービスイベントトリガーパターン
SQS+SpringCloudAWS+SpringBatch+ECSTaskScheduler(Consumer)
現在実装のみ公開

Article Overview

マイクロサービスアーキテクチャ(MSA)アプリケーションでDevOpsや基盤自動化する際の基本事項をまとめた連載記事

クラウドネイティブECSコンテナ編の環境でMSAアプリケーションを構築

• (1)MSAアプリケーションのOverview

CI - 静的チェックツール環境導入編 -

• (2)SonarQubeServerの構築
• (3)静的チェックルールの定義とSonarLintのIDEへの設定

CI - SpringBootテストコード実装編 -

• (4)マイクロサービスにおけるテスト自動化とテスト戦略
• (5)マイクロサービスアプリケーションのパッケージ構成

• (5〜6)マイクロサービスにおける単体テストコード実装
  • @DataJpaTestアノテーションの利用
  • @SpringBootTestアノテーションの利用
  • @WebMvcTestアノテーションの利用
• (7)マイクロサービスにおける結合テストコード実装
  • DBUnitの利用
  • TestRestTemplateの利用
• (8)マイクロサービスを呼び出す側の単体テストコード実装
  • MockRestServiceServerの利用
  • HTMLUnitの利用
• (9)マイクロサービスを含むEnd2Endテストコード実装
  • Seleniumの利用

CI - AWS CodeBuildによるCI実践編 -

• (10)CodeBuildの概要とCodeBuild Localの利用
• (11)CodeBuildの設定

CI - AWS CodeBuildによるCI実践編 -

GitHubフローをベースにしたブランチ戦略

AWS CodePipelineによるCD実践編(今月から)

CD - AWS CodePipelineによるパイプライン1 -

Backendコンテナイメージの作成・プッシュ

CD - AWS CodePipelineによるパイプライン2 -

ステージング環境へのBackendコンテナデプロイ

CD - AWS CodePipelineによるパイプライン3 -

WebアプリケーションでのE2Eテスト・コンテナイメージ作成

CD - AWS CodePipelineによるパイプライン4 -

Webアプリケーションのコンテナイメージのプッシュ

CD - AWS CodePipelineによるパイプライン5 -

ステージング環境へのWebアプリケーションのコンテナデプロイ

CD - AWS CodePipelineによるパイプライン6 -

ステージング環境でのその他テスト実行・管理者の承認プロセス

CD - AWS CodePipelineによるパイプライン7 -

Backend・Webアプリケーションのコンテナイメージの並行プッシュ

CD - AWS CodePipelineによるパイプライン8 -

プロダクション環境へのBackend・Webアプリケーションのコンテナ並行デプロイ

サーバレス編

[補足]どうなの？サーバーレス

例外ハンドリングが大変な例(動画をアップしてサムネイルを作る処理)

ECSコンテナ編

[補足]なぜこの構成にしたの？

A. 下記の案もありました。

が、下記の理由によりやめました。

結局、この形にしました。しかし、この構成が唯一の正解というわけではありません。

ただし、以下のようなメリットを得ることはできます。

[補足]その他ツッコミ

[補足]その他ツッコミ

RDS編

[補足]Spring Cloud AWS必要？

@Configuration
@EnableRdsInstance(
        dbInstanceIdentifier = "${rds.identifier}",
        password ="${rds.password}",
        readReplicaSupport = false)
public class RdsConfig {
}

rds:
  identifier: ${RDS_IDENTIFIER}
  password: ${RDS_PASSWORD}

NoSQL編

[ポイント]各データベースに適したユースケースやデータ特性

NoSQLは色々種類や特徴があるが、ユースケースやデータ特性に適したものを選択すべき。

クラウドネイティブなAP型データベース

CP型のElastiCache(Redis)

ElastiCache Multi-AZ VS Redis Sentinel

[補足]マルチAZでのフェイルオーバー

S3編

[ポイント]認証キーの取り扱い方 - よくない例 -

@Configuration
public class S3Config {

    @Value("${cloud.aws.credentials.accessKey}")
    private String accessKey;

    @Value("${cloud.aws.credentials.secretKey}")
    private String secretKey;

    @Value("${cloud.aws.region.static}")
    private String region;

    @Bean
    public BasicAWSCredentials basicAWSCredentials() {
        return new BasicAWSCredentials(accessKey, secretKey);
    }

    @Bean
    public AmazonS3 amazonS3Client(AWSCredentials awsCredentials) {
        return AmazonS3ClientBuilder.standard().withRegion(Regions.fromName(region)).build();
    }
}

cloud.aws.credentials.accessKey=XXXXXXXXXXXXXX
cloud.aws.credentials.secretKey=YYYYYYYYYYYYYY
cloud.aws.region.static=ap-northeast-1
cloud.aws.region.auto=false

[ポイント]認証キーの取り扱い方 - ダメじゃないけどイマイチな例 -

@Configuration
public class S3Config {

    @Value("${cloud.aws.credentials.accessKey}")
    private String accessKey;

    @Value("${cloud.aws.credentials.secretKey}")
    private String secretKey;

    @Value("${cloud.aws.region.static}")
    private String region;

    @Bean
    public BasicAWSCredentials basicAWSCredentials() {
        return new BasicAWSCredentials(accessKey, secretKey);
    }

    @Bean
    public AmazonS3 amazonS3Client(AWSCredentials awsCredentials) {
        return AmazonS3ClientBuilder.standard().withRegion(Regions.fromName(region)).build();
    }
}

cloud:
  aws:
    credentials:
      accessKey: ${AWS_ACCESS_KEY_ID}
      secretKey: ${AWS_SECRET_ACCESS_KEY}

[ポイント]認証キーの取り扱い方 - よい例 -

@Configuration
public class S3Config {

    @Bean
    public AmazonS3 amazonS3(){
        return AmazonS3ClientBuilder.standard().build();
    }

}

• 開発環境では、~/.aws/credentialsに開発用のアクセスキーと秘密キーをおいておく。
• 本番環境ではEC2やECSコンテナにIAMロールを設定する。

クラウド特有の実装：STSを使ったS3ダイレクトアップロード・ダウンロード

AWSで作るクラウドネイティブアプリケーション発展編(仮)で解説予定
アップロード後の後続処理はサーバレスと相性が良い
現在実装のみ公開

SQS編

[ポイント]SpringCloudAWSを使ったSQS Producer-Consumerアプリケーション
Producer設定クラス

@Configuration
public class SqsConfig {

    @Value("${queue.endpoint}")
    private String queueEndpoint;
    @Value("${cloud.aws.region.static}")
    private String region;

    @Autowired
    AmazonSQSAsync amazonSQSAsync;

    @Bean
    public AwsClientBuilder.EndpointConfiguration endpointConfiguration(){
        return new AwsClientBuilder.EndpointConfiguration(queueEndpoint, region);
    }

    @Bean
    public QueueMessagingTemplate queueMessagingTemplate(){
        return new QueueMessagingTemplate(amazonSQSAsync);
    }

}

[ポイント]SpringCloudAWSを使ったSQS Producer-Consumerアプリケーション
ProducerRepository

import org.springframework.cloud.aws.messaging.core.QueueMessagingTemplate;

@Component
public class SampleRepositoryImpl implements SampleRepository{

    @Autowired
    QueueMessagingTemplate queueMessagingTemplate;

    @Override
    public void save(Sample sample) {
        queueMessagingTemplate.convertAndSend(
          "MynaviSampleSqsQueue", sample.getMessage());
    }

}

[ポイント]SpringCloudAWSを使ったSQS Producer-Consumerアプリケーション
Consumer設定クラス

@Configuration
public class SqsConfig {

    @Value("${queue.endpoint}")
    private String queueEndpoint;
    @Value("${cloud.aws.region.static}")
    private String region;

    @Autowired
    AmazonSQSAsync amazonSQSAsync;

    @Bean
    public AwsClientBuilder.EndpointConfiguration endpointConfiguration(){
        return new AwsClientBuilder.EndpointConfiguration(queueEndpoint, region);
    }

}

[ポイント]SpringCloudAWSを使ったSQS Producer-Consumerアプリケーション
Consumer※このバッチ実行だとスレッドセーフでない&多重起動はできないので注意

@EnableSqs
public class MessageListener {

    @Autowired
    JobLauncher jobLauncher;

    @Autowired
    Job job;

    @SqsListener(value = "MynaviSampleSqsQueue", deletionPolicy = SqsMessageDeletionPolicy.ON_SUCCESS)
    public void onMessage(String message) throws
            JobExecutionAlreadyRunningException, JobRestartException,
            JobInstanceAlreadyCompleteException, JobParametersInvalidException {
        Map<String, JobParameter> jobParameterMap = new HashMap<>();
        jobParameterMap.put("param", new JobParameter(message));
        jobParameterMap.put("time", new JobParameter(System.currentTimeMillis()));
        JobParameters jobParameters = new JobParameters(jobParameterMap);
        JobExecution jobExecution = jobLauncher.run(job, jobParameters);
        ExecutionContext executionContext = jobExecution.getExecutionContext();
    }

}

[補足]SQS Queueを刈り取って実行するSpring Batchのサンプルの処理イメージ

クラウドネイティブECSコンテナ編の環境でMSAアプリケーションを構築

クラウドネイティブECSコンテナ編の環境でMSAアプリケーションを構築

回避せよ！マイクロサービスの罠

タイヤのブランコ=「素早くアプリを作って、早くサービスを提供したい」なのか？
出典：「オレゴン大学の実験」（C.アレグザンダ―・他著，B6判，203p，鹿島出版会，1977年12月）： よく分かる解説

CI - 静的チェックツール環境導入編 -

[ポイント]SonarQubeServerをALB+ECS+RDSで構成のメリット

• SonarQubeServerをALB+ECSコンテナの運用で可用性を向上
• データベースをRDSにすることにより、バックアップ等保全性が向上　

[補足]Spring.ioプロジェクトのSonarqubeプロジェクトはどうなっているか？

CI - SpringBootテストコード実装編 -

「テスト自動化の８原則」

出典：テスト自動化研究会 「テスト自動化の８原則」より

[補足]Configパッケージは必要？

一連の連載でSpringBootプロジェクトでメイン起動クラスや設定クラスは全てconfigパッケージにまとめています。Bootのオートコンフィグレーション機能を考えると、起動クラスはパッケージのルートヒエラルキー配下に配置しておいた方がよいかもしれませんが、 複数人の開発では、設定クラスの配置に関して何かしらのルールを設けないと設定クラスが拡散し、パッケージ変更するだけでAPやテストが起動できなくなる事象に度々遭遇します。そのため本連載では、@SpringBootTestなどの一部のアノテーションは、ルートヒエラルキーに起動クラスがないと実行されないなど多少不便&推奨から外れたとしても明示的に設定クラスを指定しないと逆に動かないような構成にしています。

CI - AWS CodeBuildによるCI実践編 -

[ポイント]クラウド型CIツールのメリット

• 複数並走開発していても、マシンリソースを気にせずテスト
• マスター・スレーブなど構成を気にせずシンプルにできる

AWS CodePipelineによるCD実践編

[ポイント]マイクロサービス間の連携テストはCDの中で自動化する

マルチOS・ブラウザでパラレル自動化テスト

[ポイント]ステージング環境とプロダクション環境のコンテナイメージは同一。AWS SysmtemsManagerで環境変数を切り替えるよう設定する。

今後の記事公開の予定

• SQSでいったん基本編は終了。発展編を執筆予定
  • S3ダイレクトアップロード・ダウンロード
  • Cognito+SpringSecurity認証認可
  • EKS・AppMesh
  • Cassandraの利用・AP型データベースデータモデル
  • KinesisStream
  • AWS IoT
  • ElasticMapReduce

今後の記事公開の予定

• 執筆予定
  • AWS CloudFormationを利用した基盤自動化
  • AWS SystemsManager+CloudWatch