九州大学 大学院 芸術工学研究院環境設計部門 教授
地震によってRC部材に生じるひび割れには、交差や枝分かれ、途切れなどが生じます。それらを１本ずつ検出し、深層学習モデルと画像処理によって得られた複数の要素をもとに、連続した直線を出力します。この直線は元のひび割れに近似、すなわち実際の形をできる限り再現するようにしたもので、これがひび割れセグメントにあたります。
なお、ひび割れセグメントを出力する過程で、近似点の位置情報や全長などの数値が自動的に算出され、セグメントに数値情報として追加されます。そのため、ひび割れセグメントは画像上の線であると同時に、数値情報を伴う構造化データ（あらかじめ定められたフォーマットで整理されたデータ）となります。
また、近似点から、おおよそのひび割れ幅を測定し、その大きさに応じて分類することも可能です。
「ひび割れセグメント」の抽出方法なお、ひび割れの検出精度の向上には、DNN（ディープニューラルネットワーク）の学習データを増やす必要がありました。そこで、柱よりもひび割れが発生しやすい方立壁（ドアや窓の間に垂直に設置される部材）に着目しました。
実物大のRC方立壁試験体を用意し、地震や風圧に相当する荷重を加える水平加力実験を行って、試験体を撮影しました。これによって得られた豊富な損傷データを用いて、精度向上を図りました。
従来の画像データのみを用いた処理よりも、コンピュータで行う解析や比較、分類などの処理が容易になります。そのため、より精緻かつ迅速にひび割れを把握し、正確な損傷度の判定が実現できる可能性があるのです。
先ほどご説明したように、ひび割れセグメントの抽出の過程では、ひび割れを直線要素に置き換えますが、これまでは「細線化アルゴリズム」という手法が用いられてきました。このアルゴリズムでは、ひび割れを連続した1px幅の画素群に置き換えて、その合計から全長を計測することが可能です。しかし、人の手によるチェックが必要で、自動化には不向きのため、本研究では画像処理の一つである「輝度分布」を活用しました。
新しい理論の追求よりも、既存の技術や理論を活用して利便性の向上や省力化に貢献することを重視する、応用研究のスタンスで取り組んでいるはい。周囲のコンクリート部分に比べて、ひび割れ部分は輝度値が低くなり、輝度分布上、黒く表示される傾向にあります。そのため、ひび割れの終点と始点については深層学習モデルで抽出するのに対し、その間の近似点に関しては輝度分布上の明るさの違いに基づいて、自動抽出するようにしました。これらを結ぶことで、ひび割れセグメントを作成し、長さを高精度で測定できるのです。
また、ひび割れ幅の測定は、抽出したひび割れセグメントを横切るように垂直の軸を設定し、その直交軸上の輝度分布を調べる手法を採用しました。
幅の測定には、輝度分布の中でひび割れ部分にあたる黒色の閾値（ある対象を判別したり、判断を下したりするための境界となる値）を学習させた、1次元畳み込みニューラルネットワーク（1D-CNN）を活用しました。1D-CNNは、連続データからパターンの変化や特徴的なシグナルを検出するAIなので、輝度の違いを認識し、ひび割れ幅を自動的に推定できるのです。
ひび割れ直交軸の輝度分布（左）と、輝度分布および黒色の閾値を示したグラフ（右）確かに、解像度が異なると、輝度分布のパターンも変化します。具体的には、解像度が低くなると輝度分布の形状がU字形からV字形に変化するため、1D-CNNがひび割れ幅を精緻に認識できず、損傷度が正確に推定できなくなる可能性があります。
それを防ぐために、再び実物大のRC方立壁の試験体で水平加力実験を行い、このときは0.05/px、0.1/px、0.2mm/pxの3種類の解像度で写真を撮影しました。そして、それぞれの画像からひび割れを抽出し、その直交軸の輝度分布についてデータベースを作成し、1D―CNNに学習させました。
その結果、輝度分布の特徴量と空間解像度を入力することで、1D-CNNがひび割れ幅を推定できるようになりました。
0.2mm/pxおよび0.05m/pxの画像から抽出したひび割れ幅の画像（左）と、直交軸上の輝度分布の相違（右）なお、現在はこれらの手法の検証に取り組んでいます。実物の約3分の１の縮小模型試験体で水平加力実験を行い、曲げ破壊を起こした試験体の損傷画像を撮影しました。そのうえで、実験値に基づく損傷度と、先述の方法で画像測定したひび割れ幅に基づく損傷度を比較し、精度を確認しているところです。損傷度の推定精度をさらに詳細に検証するために、実物大のRC柱模型を用いた実験も予定しています。
