京都大学学術情報メディアセンターは28日、日本ヒューレット・パッカードが開発したスパコン用ストレージバックアップするプログラムの不具合により、大容量ストレージ(/LARGE0)の一部が意図せず削除されたと発表した。
不具合が発生したのは、2021年12月14日～16日の内、12月3日17時32分以降更新がなかったファイルで、消失ファイル数は約3,400万、容量は約77TBに達する。ファイル消失の原因は、バックアッププログラムの機能改修において、不用意なプログラムの修正とその適用手順に問題があったことで、本来は不要になった過去のバックアップログファイルを削除する処理が、/LARGE0ディレクトリ配下のファイル群を削除してしまう処理として誤動作した。
日本HPでは、京都大学宛の報告書で「弊社100%の責任によりLustreファイルシステムのファイル消失の重大障害を来し、多大なるご迷惑をお掛けしたことを深くお詫び申し上げます」と述べている。
現在はバックアップ処理を停止しており、プログラムの問題を改善し、確実に再発しない対策をした上で1月末までにはバックアップを再開する予定。
また、ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから、将来的にはこれまでのミラーリングによるバックアップだけでなく、1世代分の増分バックアップを残す等の機能強化を検討する。
コメント