みなさん！おはようございます！こんにちは！こんばんは！エンジニアの栄山 (@yamii_qq) です。
先日、弊社にてFour Keysをモニタリングできるようになりました！
本記事では、モニタリングした結果と今後どのように活用するかをご紹介します！
Four Keysの計測方法
Google Cloud の DevOps Research and Assessment（DORA）チームが毎年発表しているレポートに記載されている計測方法を使用します cloud.google.com
4つ指標があり、それぞれHigh,Medium,Lowでレベルが分けられいます。 指標の説明についてはこちらの記事に書かれているので、ぜひ読んでください。 Highが多いほど、ソフトウェアデリバリーのパフォーマンスが良いと言えます。
| パフォーマンス測定レベル | デプロイの頻度 | 変更のリードタイム | 変更障害率 | サービス復元時間 |
|---|---|---|---|---|
| High | 1日に複数回 | 1日から1週間 | 0%~15% | 1日以内 |
| Medium | 1週間から1ヶ月に1回 | 1週間から1ヶ月 | 16%~30% | 1日から1週間 |
| Low | 1ヶ月から6ヶ月に1回 | 1ヶ月から6ヶ月 | 46%~60% | 1週間から1ヶ月 |
弊社の計測結果
さあ、弊社の計測結果を見てみましょう！
| 年月 | デプロイの頻度(回/日) | 変更のリードタイム(分/回) | 変更障害率 | サービス復元時間(分/回) |
|---|---|---|---|---|
| 2022/12 | 3.97回 | 1,215分 | 1.62% | 29,396分 |
| 2023/01 | 3.77回 | 1,444分 | 0.85% | 81分 |
| 2023/02 | 4.50回 | 1,386分 | 3.96% | 2,197分 |
| 2023/03 | 2.48回 | 831分 | 1.30% | 200分 |
うーん。数字だけだといまいちわからないですね。 計測結果がどのレベル帯であるかでもう一度表を作ってみます。
| 年月 | デプロイの頻度(回/日) | 変更のリードタイム(分/回) | 変更障害率 | サービス復元時間(分/回) |
|---|---|---|---|---|
| 2022/12 | High | High | High | Low |
| 2023/01 | High | High | High | High |
| 2023/02 | High | High | High | Medium |
| 2023/03 | High | High | High | High |
直近4ヶ月だと、サービス復元時間以外はHighレベルを維持できていることがわかりました。 計測してみると、チームで戦っている感じがして良いですね！
2022年度、Highに当てはまる開発チームは11%のようなので、維持できているのはとても素晴らしいです！
一方、サービス復元時間は月によってばらつきがあることもわかりました。 12月の数値が高いのは、エラー可視化ツールSentry等を導入していないサイトで継続的にエラーが起きており、検知できなかったためです。
このようにFour Keysを計測することで、課題を発見することができます。
今後のFourKeys利用法
定期的にモニタリングする
定期的にモニタリングすることで、下記のようなことができると考えています。
- 問題が大きくなる前に適切な対応ができる
何かしら問題があった場合に、モニタリングしていると気づきやすくなります。
気づくことで、影響が少ないうちに改善に繋げられるので、組織の健全性や満足度の向上につながります。
- パフォーマンス計測レベルの測定方法が変更された時に追従できる
実は、Four Keysのパフォーマンス計測レベルは毎年アップデートされています。
2021年の資料では、EliteレベルといったHighのさらに上のレベルがありました。
今後、測定方法が変更される際に、定期的にモニタリングしていることで移行がスムーズになります。
ソフトウェア開発に関するベストプラクティスは日々アップデートされていくので、適切な測定指標を追うことがより良いソフトフェアを提供することにつながります。
生産性向上のための施策を実施・計測する
Four Keysの指標を良くするために、様々なできることがあります。 以下が過去に取り組んだ例です。
アプリケーションエラーを可視化しエラー検知を早める tech.macloud.jp
ライブラリアップデートを自動化する tech.macloud.jp
Feature Togglesを開発フローに導入する tech.macloud.jp
社内勉強会の技術書籍感想会をポッドキャストとして配信する
「LeanとDevOpsの科学」を読んでいるので、興味ある方ぜひご聴取ください。
このような施策の成果を可視化できるのがFour Keysの良いところです。 今後は施策を実施→計測を繰り返すことで、チームが健全性を保ちながら能力を持続的に向上させるような良い循環を生み出せればと考えています。
まとめ
まとめです！
弊社でFourKeysが計測できるようになった結果、現状我々がどの位置にいて、何をするべきかが明確化できました。
1Teamで良いユーザー体験をお客様に提供するために、生産性を高めて質の良いソフトウェアを開発できればと思います。
参考
過去のレポートを貼っておきます。 毎年少しづつ変わっています！
