情報システムの障害状況ウォッチ（2016年後半）

SEC Journal48号で2016年後半の情報システム障害状況まとめが公開されたので読んでみる記事。いろいろあってすでに2017年も4分の1が過ぎてしまったので今更感もあるのだけれど。

過去に書いた関連記事は以下の通り。

• 情報システムの障害状況ウォッチ（2016年前半） - 勘と経験と読経
• 情報システムの障害状況ウォッチ（2015年後半）、ポストモーテム - 勘と経験と読経
• 情報システムの障害状況（2015年前半）あるいは検死解剖 - 勘と経験と読経

SEC Journal最新号の入手はこちらから。

• 最新号とバックナンバー：IPA 独立行政法人 情報処理推進機構

情報システムの障害状況ウォッチ（2016年後半）

詳細はSEC Journalを確認いただくとして、掲載されているトラブル事例をいつもどおりニュース記事などとザックリ照らし合わせてみた。例によって調べているとお腹が痛くなる事案ばかり。

• [1621]ECサイトの日次売上速報メールが不具合により他店に誤送信(2016/5/25)
  • ヤフーの仮想モール、「日次売上速報」誤送信で出店者の売上情報が漏えい - 通販新聞
  • yahooショッピング朝レポ不具合。他店の売り上げ情報がメールで大量に届く
  • Yahooの障害情報ページを見ても記載は無し、というか"一覧ページ"の該当と思われるページだけ削除されており「指定されたURLのページは存在しません。」と表示されるというのはいかがなものかと思う。
  • SEC Journalの記事によれば、前日にリリースされた新機能の不具合、テスト漏れとのこと。再発防止で「開発担当者とは別の担当者がテストケースを二重チェックする」と書かれているあたりに嫌な臭いが。

• [1622]総務省e-StatがHW障害で閲覧不可(2016/6/30)
  • 会員登録のお願い - 毎日新聞
  • 冗長構成はどうだったのかは気になるところだが、不明

• [1623]取引所 新システムトラブルにより約定できず(2016/7/29)
• [1624]取引所 新システムトラブルにより利用制限(2016/8/1)
  • 「J-GATE」でシステム障害、約20分間取引停止 – finAsol
  • 障害原因は非公開とのこと･･･

• [1625]電力会社 使用料システムで使用料計算ミス(2016/8/23)
  • 東京電力のシステム不具合は原因を特定できず、問題解決は10月以降に (1/3) - スマートジャパン
  • 電力供給サービス：東京電力のデータ通知の遅延は改善せず、年内の問題解決むずかしく (1/2) - スマートジャパン
  • 電力供給サービス：東京電力のデータ通知遅延ほぼ解消も、月間使用量の不明件数は8221件に拡大 (1/2) - スマートジャパン
  • 収束へ向かう東京電力のデータ通知遅延、いまだシステムの不具合は残る (1/2) - スマートジャパン
  • 東京電力のデータ通知遅延が続く、システムの対策に遅れ (1/2) - スマートジャパン
  • 恐怖の長期化事案。長期間にわたって人海戦術の運用を続けながら、いまだにシステムの不具合は改修できていないという恐ろしい事態になっている。現場は大変そうだが、詳細は不明。
  • 電力自由化案件 [無断転載禁止]©2ch.net

• [1626]地銀ATMネットワーク障害にて利用不可(2016/8/28)
  • 三重銀行、ATM全台が停止したシステム障害の原因を公表 – finAsol
  • "ATM システム障害の復旧ならびに発生原因、今後の対応について"(PDF)
  • 開発系ネットワークと本番が誤って接続してしまったことが原因であった模様。
  • 何はともあれ、詳細が公開されているのは素晴らしいと思う。

• [1627]生保システムHW障害で支払手続遅延(2016/8/31)
  • 日本生命、システム障害で一部手続きが遅延 – finAsol
  • 冗長構成はどうだったのかは気になるところだが、不明

• [1628]地銀勘定系プログラム不備で振込等手続きできず(2016/9/16)
  • ニュース - 横浜銀行など地銀4行共同システムの障害、原因はカード磁気消失のチェック漏れ：ITpro
  • SEC Jounalで詳しく論じられているのでぜひ閲覧いただきたいのだけれども、「1枚の磁気情報が壊れたカードを使った振込が原因で、4つの銀行の取引を7時間止めてしまう」事態となった恐るべき事態である。影響を受けた取引件数は3万5900件という。

• [1629]チケット販売システム負荷集中(想定の6倍)でダウン(2016/10/15)
  • 第29回東京国際映画祭 | 第29回東京国際映画祭Online Ticketシステム障害のお詫びとご説明
  • スケールアウト可能なシステムを構築したが、想定の6倍の負荷がかかり最大限処理能力を追加してもさばききれなかったという事案。
  • 利用者のユースケースの想定を開発者が見誤り「1取引を5分ほどかけて処理」の想定が、実際には「PCとスマホ併用、応答が無ければすぐにリロード」だったという……

• [1630]マイナンバーカード交付システムHW障害で停止(2016/10/22)
  • マイナンバー、サーバー故障で障害か 交付業務に一時支障 - 産経ニュース
  • 地方公共団体情報システム機構 個人番号カード管理システムにおける障害について
  • RAIDカード故障ということ。

• [1631]モバイルSuicaがApplePay影響でレスポンス悪化(2016/10/25)
  • 「モバイルSuica」障害、約3時間半で復旧 「通常の10倍のアクセス」 Apple PayのSuica対応が影響か - ITmedia NEWS

• [1632]証券会社取引システム障害により処理遅延(2016/11/7)
  • 松井証券でシステム障害、株式の注文処理に遅れ ：日本経済新聞
  • 松井証券のシステム障害で投資家が阿鼻叫喚 : IT速報
  • 詳細は不明。

• [1633]航空会社手荷物搬送システムで障害、運行遅延へ(2016/11/10)
  • 羽田空港：全日空システムがトラブル 荷物を積み込めず - 毎日新聞
  • 詳細は不明、というかプレスリリースも消えているのはいかがなものか・・・

• [1634]取引所システムが米大統領選挙の影響でダウン(2016/11/10)
  • 東商取のシステム不具合 投資家が不満、売買低迷招く 信頼回復急務に ：日本経済新聞
  • 東京商品取引所でシステム障害 一部取引は引き続き停止 - 金融ITニュース。時々雑ネタ。
  • 米大統領選挙の影響でダウンと言われると仕方の無いように感じるが、想定処理量が取引の低迷期を前提にしており、利用者から 「この程度でシステムが止まるのは問題」と言われているのが気になるところ。

• [1635]地震発生時に警報システム等作動せず(2016/11/12)
  • 会員登録のお願い - 毎日新聞
  • SEC Jounal記事によれば「通信障害が起きたためとみられるが原因 は分かっていない」とのこと。また報道によると発生前日に保守点検をやっていたということから、点検作業のミスと見るのが妥当か。

• [1636]訓練時に警報システム作動せず(2016/11/29)
  • 全国２８市区町村でＪアラート不具合｜佐賀新聞LiVE
  • "総務省：全国瞬時警報システム（Ｊアラート）全国一斉情報伝達訓練の結果"(PDF)
  • Ｊアラート一斉訓練における不具合について
  • 機器設定誤りや配線接触不良などにより、惨憺たる結果となっている(総務省発表が詳しい)。防災訓練とは別にテストすべきだろう……

• [1637]自動車保険システム誤登録で保険料過剰請求(2016/12/1)
  • ニュース - 損害保険ジャパン日本興亜、人的ミスで約1800万円分高い保険料を誤請求：ITpro
  • "損保ジャパン日本 興亜プレスリリース"(PDF)
  • 顧客指摘を受けてサンプリング調査を実施したところで発覚したもの。ただ、原因はシステム不具合ではなくて入力ミスである。

• [1638]証券会社システムがアクセス集中で処理遅延(2016/12/8)
  • みずほ証券、システム不具合で一時取引できず：朝日新聞デジタル
  • 詳細は不明

• [1639]気象庁ウェブサイト不具合で自動更新できず(2016/12/11)
  • 気象庁のＨＰ、一時更新できず 情報発信には影響せず ：日本経済新聞
  • 気象庁｜報道発表資料
  • 障害により週間天気予報や波浪観測情報などの自動更新が停止し、暫定的に手動運用、翌朝には復旧したもの。
  • 原因は不正データ受信ということだが、どのように不正だったのか（発信元のエラー、通信上の問題など）は不明。

• [1640]住基ネット、メンテ不備で障害となり利用できず(2016/12/7)
  • 住基ネット障害 カード一時交付できず 横浜市、保守作業ミス ：日本経済新聞
  • ニュース - マイナンバー関連システムで障害、横浜市で1208人にカード交付できず：ITpro
  • ニュース - 横浜市のマイナンバーシステム障害、待機系のパスワード変更漏れが原因：ITpro
  • どうしてそうなった感はあるが、運用系と待機系の２系統のシステムについて、手動で定期的にパスワードを変更する手順があったが今回待機系の変更が漏れたので同期処理に失敗、そしてエラーの原因が特定できなかったので古いバックアップから復旧して（2日くらい巻き戻して）対応した模様。
  • 作業ミスといえばそうだけれど、そもそもミスを許容する仕組み自体について疑ってかかりたい事案。
  • 「パスワードの定期的な変更」という禁忌を実施してマイナンバー全体がコケる微妙事案が発生(山本一郎) - 個人 - Yahoo!ニュース

• [1641]後期高齢者医療制度保険料計算システム不備で誤徴収発覚(2016/12/27)
  • 高齢者保険料６億円徴収ミスか 厚労省、５年放置 ：日本経済新聞
  • 後期高齢者医療制度の保険料軽減判定誤りによる保険料の過大・過小徴収について ｜報道発表資料｜厚生労働省
  • 「今回の事案の原因は、後期高齢者医療制度創設当時のシステムの設定の誤りにありますが、今後のシステム改修に当たっては、複数の担当者による確認を徹底いたします。」というのはいくらなんでも、どうかと思う。
  • 察するに、非常に頻度の低いレアケースで発生するバグのようなので「システム改修しない」という判断はあり得ると思う。しかしそれはシステムに関する話であって、業務として誤徴収は当然発生させてはならない。システム改修をしないという判断をしたのであれば、運用でしっかりとシステムの誤計算の発生を防ぐ（検知、差し替えなどの運用対応をする）必要があるであろう。

2016年はここまで。さて今年はどんなことが起こるやら。

失敗学のすすめ (講談社文庫)

なぜ、システム開発は必ずモメるのか? 49のトラブルから学ぶプロジェクト管理術