お取引先 各位
平素は格別のご愛顧を賜り、誠に有り難うございます。
23/10/23(月)より弊社サービスにて断続的に発生致しておりました障害の件、
長期間に渡りお客様へ甚大なご迷惑をお掛け致しました事、
改めて深くお詫び申し上げます。
この度発生致しました一連の障害につきまして、
以下の通りご報告申し上げます。
記
■障害発生期間
23/10/23(月) 07:48～23/11/01(水) 20:38
■障害の発生状況と行った対策につきまして
▼23/10/23(月) 07:48頃～23/10/24(火) 12:00頃
・弊社サーバーが設置されているエクイニクス社データセンター内の
回線に対し、主に海外(ルーマニア)と見られるipアドレスからの
smtpアクセスが集中し、トラフィックに高負荷が発生。
・上記IPアドレスからのアクセスをデータセンター内のルーターで遮断する様、
サーバー保守・管理会社へ依頼
・サーバー保守管理会社に対し、下記を要請
・01.弊社および契約専門業社のエクイニクス社データセンター
直接入館許諾
・02.サーバー保守管理会社を介さず、弊社-エクイニクス社間での
直接連絡ならびにサポート依頼許諾
▼23/10/25(水) 08:50頃～23/10/26(木) 20:11頃
・23/10/23(月)にルーター側で遮断を行ったIPアドレスに加え、
同様に不正と考えられる海外(オランダ・リトアニア)IPアドレスについても
サーバー側にてsmtpアクセスを遮断する様設定
・smtpアクセスに対し、リターンメールを返信しない様設定の変更を実施
・サービスのDBサーバー使用率が100%を超過する頻度が高まった為、
再起動を実施
▼23/10/28(土) 10:00頃～23/10/29(日) 09:10頃
・現在弊社が管理していないドメインがDNSサーバーに向けられていた為、
ドメイン所有者にネームサーバー指定より除外頂いた
・同DNSサーバー内の名前解決ができないエラーが発生していた
ドメイン2件に対し、修正を実施
・継続して各サーバーのアクセスログ監視を実施・不正と思しきIPアドレスは
見当たらず
▼23/10/30(月) 06:05頃～23/10/31(火) 09:30頃
・サーバー保守管理会社に対し、下記を再度要請
01.弊社および契約専門業社のエクイニクス社データセンター
直接入館許諾
02.サーバー保守管理会社を介さず、弊社-エクイニクス社間での
直接連絡ならびにサポート依頼許諾
・継続して各サーバーのアクセスログ監視を実施・不正と思しきIPアドレスは
見当たらず
▼23/11/01(水) 12:27頃～20:38頃
・弊社ならびに契約専門業社がエクイニクス社データセンターに直接立ち入り、
エクイニクス社共用100Mbps回線-弊社ルーター間のパケットモニタリングを
実施したところ、3台のサーバーに対し、海外(ブラジル)からと思われる
「サービスロケーションプロトコル(※1)」というインターネット上での
利用が想定されていない通信プロトコルが大量送信されており、
smtpアクセスを行っていたIPアドレスの遮断以降にトラフィックを占有し、
高負荷の原因となっている事が判明
17:17頃エクイニクス社が提供する
「リモートトリガーブラックホールフィルタリング(※2)」を用いて
当該3サーバーへのアクセス完全遮断を実施
その後、20:38頃に滞留していたアクセスが解消され、
正常な通信状態となった事を確認
(※1)サービスロケーションプロトコル(日経クロステック内)
https://xtech.nikkei.com/it/members/NNW/NETPOINT/20010613/3/
【ご参考】
「SLP」に反射攻撃のおそれ、早急にアクセス制限を – 最大2200倍に増幅
https://www.security-next.com/145722
(※2)リモートトリガーブラックホールフィルタリング
https://docs.equinix.com/en-us/Content/Interconnection/IX/IX-rtbh-guide.htm
■現在の状況につきまして
23/11/01(水) 17:17に行った対応以降現在に至るまで、
回線・サーバーとも継続して正常に稼働している事を確認致しております。
加えて、エクイニクス社共用100Mbps回線-弊社ルーター間の
パケットモニタリングならびに各サーバーのアクセスログ監視も
継続実施致しておりますが、不正と思われるIPアドレスからのアクセスは
ございません。
また、今件による個人情報の漏洩は確認されておりません。
■今後の対応につきまして
今回の障害発生と長期化を重く受け止め、
下記点につきまして改善を行ってまいります。
・WAF(Web Application Firewall)の導入
⇒株式会社サイバーセキュリティクラウド様運営の
「攻撃遮断くん」(https://www.shadan-kun.com/)
を導入致します。※23/11/13(月)納品・14(火)稼働開始予定
・回線の増強
⇒データセンター内の回線につきまして、
現行の100Mbpsより200Mbpsへの増強を実施致します。
※23/11/12(日)週工事完了予定
・クラウド環境への移行
⇒サービスの運営体制を現行のオンプレミス環境から、
スペック・リソースの拡張が容易な点と保守面の強化から、
24年02月～03月以降の運用開始を目指し、並行してクラウド環境への
移行を進行致しております。
上記対応ならびに改善を行いました上で、
万が一障害が発生した際には迅速に復旧できる様、
サービスの運営・保守・管理体制の整備も進め、
事態の再発防止に努めてまいります。
繰り返しとなってしまい大変恐縮でございますが、
この度は弊社のサービス運営・保守管理体制不備・不行届に起因して、
お客様にご迷惑とご心配をお掛けする結果を招いてしまいました事、
重ねてお詫び申し上げます。