Jump to content
Sign in to follow this  
shoshino

今週発生しましたEvernote同期遅延に関してのご説明とお詫び

Recommended Posts

平素からEvernoteをご愛顧いただき誠にありがとうございます。

今週発生しました同期遅延に関しまして、日本のユーザーの皆様にご説明をさせていただきます。

まず最初に、日本語にてのタイムリーなご案内を行えなかったことをユーザーの皆様に深くお詫び申し上げます。

問題の発生が確認されて以来、弊社CTOがユーザーの皆様と対話しつつ、現状と対策を下記URLのフォーラムへ継続的に書き込みながら、問題の早期解決に努めておりました。

viewtopic.php?f=30&t=21423

以下にそのCTOの書き込みの日本語翻訳を掲載致しましたが、今回の根本的な原因を要約致しますと、1)先般全ユーザのセキュリティーを高めたこと、と、2)より同期を頻繁に行うモバイル機器の急激な増加があったこと、の二大要因により、予想を遥かに超えるスピードでトラフィックが増大し、それによりロードバランサーが過負荷になり処理に遅延が発生し、それがお使いのネットワークや機器によってはタイムアウトと判断され、その結果同期が中断される、という連鎖でした。

新しい高性能ロードバランサーの導入のための評価試験中でありましたが、大至急機材を追加/新規導入して負荷を分散し、問題の解決を計りました。

なお今回の同期遅延に関連して、データの喪失は報告されておりません。

今回行いました機材のアップグレードに加えまして、世界的に見ても特にヘビーユーザの多い日本の皆様により快適にEvernoteを使っていただく為に、日本からの接続がより高速かつより安定した接続回線への切り替えも準備を進めております。これに関しては数週間以内にまたお知らせをさせていただきますので、もうしばらくお待ちくださいますようお願いします。

また、Evernoteでは、ネットワークの状況報告をステータスページで行っております。RSS の配信もございます。

http://status.evernote.com/

また、Twitterでもネットワークステイタスをお伝えしております。

http://twitter.com/#!/evernotestatus

こちらも今後ご活用いただきますよう重ねてご案内申し上げます。

今後は、上記英語での情報提供に加えまして、日本語での迅速な情報提供にも力を尽くしていく所存です。

今後とも何卒Evernoteをよろしくお願い致します。

今回同期遅延でご迷惑をおかけしました皆様に、重ねてお詫び申し上げます。

Evernoteサポート担当

-----------------------------------------------------------------------------------------------------

viewtopic.php?f=30&t=21423 の翻訳

-----------------------------------------------------------------------------------------------------

太平洋標準時1月2日の日曜の夜(日本時間で1月3日)以降、Evernoteのサーバー内外においてネットワークに散発的な問題が見られるようになりました。これにより、一部のユーザーの方にファイルの同期およびWebアクセスの遅延という現象が発生しはじめました。ユーザーの使用環境によっては、ネットワークの遅延がクライアントの"タイムアウト"エラーにまでつながる可能性があり、そしてネットワークタイムアウトと判断されることが同期が完全に中断される原因となりました。

本日原因調査とデバッグを実施した結果、弊社のラックに格納された複数のサーバーと外部とのネットワークトラフィックを送受信する"ロードバランサ"サーバーに原因があると問題を絞り込みました。これらのサーバー(Citrix NetScaler 7000 Enterprise、各$ 15,000)は非常に信頼性が高く、3年前に購入して以来問題なく稼動しており、毎日数千万の要求を問題なく処理することができていました。

残念なことに、これらのサーバーでは弊社のニーズをもはや満たすことができない点まで到達したと考えています。弊社は約1ヶ月前頃、許容量が限界の"85%"に近づいていたことを認識し、テストラボにおいて代替する装置の評価およびテストをアクティブに行ってきました。テストは今週完了する予定であり、来週には代替ハードウェアを購入する予定でした。

しかしながら、弊社の予想より早く今週初めにバランサーの処理能力の"100%"に達してしまいました。この引き金となったのは最近起こった以下の2つの変化で、それが、元々予想された漸進的な増加をはるかに超えた主たる理由となりました。

1. すべてのユーザーのセキュリティをさらに向上させるため、すべてのクライアントおよびWebインターフェイスとの間で、より安全なSSLを用いた暗号化通信の提供を開始しました。従来は、無料のユーザーは初期の"log in"段階においてのみSSL通信を使用していましたが、この変更のあとは無料ユーザーもこのアップグレードされたセキュリティの対象としたのです。しかし、SSL通信にはより大きな計算負荷がかかるため、この変更の結果、弊社のハードウェアのCPU使用率が急上昇しました。

2. Evernoteと同期するモバイル機器の爆発的な伸びを経験しました。特に、Androidクライアントでの利用使用は2010年に1500%以上増加しました。そして、最近のAndroidバージョンのクライアントでは、Evernoteサーバーとの通信がより頻繁に発生する同期オプションが提供されています。

これら2つの要因が(弊社の急速で加速的な成長と併せて)現在使用中のロードバランサへの過度な負荷につながり、弊社のサーバーとの間の通信の散発的遅延の原因となりました。

より高性能の新しい代替装置が今現在まだ入手できていないため、現在発生している問題を早急に解決するために、3つめのNetScalerユニットをラボから実際のEvernoteサービス環境に移動するという対処を行っています。理論的には、本NetScaleサーバーに負荷の一部を分散することができ、それぞれの装置への負荷が無理のないレベルに下げられるはずです。弊社は現在、正常に同期が実行できているユーザーの通信を停止しないような方法で、このユニットを安全に再構成・導入するよう取り組んでいます。そのためには、いくつかの追加的なネットワーク変更がが必要で、現在その作業が進行中です。

我々は、この処置によって当面の問題が明朝までに解決されるはずだと考えています。そして約2週間以内には、長期的な解決策――高性能の新装置および別の一流キャリアからの新しいネットワークリンクを含む――がもたらされる予定です。これによって、弊社は今後2年間の成長に対処するのに十分な処理能力を持つはずです。

本件により同期に問題が生じているユーザーにおかれましては、ご迷惑をおかけして誠に申し訳ございません。弊社が解決を図って参ります間、どうかもうしばらくお待ちください。

---------------------------------------------------------------------------------------------------------------

Update - 1月3日 朝5時 PST (日本時間1月3日 午後10時)

---------------------------------------------------------------------------------------------------------------

ロードバランサーを追加しました。これにより問題の大部分が対処されたと思われます。しかし別の問題が発生する場合に備え、引き続き状況の監視を行っております。

---------------------------------------------------------------------------------------------------------------

Edit - 1月3日 朝 7時55分 PST (日本時間1月4日 午前0時55分)

---------------------------------------------------------------------------------------------------------------

追加したロードバランサーは、一部の接続において本来の動作をしておらず、コンソールでは"メモリ不足エラー"と表示されていました。再起動させたところ、今はスムーズに稼動しているようです。同期において引き続き頻繁なネットワークエラーが見られる場合はご連絡ください。

---------------------------------------------------------------------------------------------------------------

Edit - 1月5日 午後1時 PST  (日本時間 1月6日 午前6時)

---------------------------------------------------------------------------------------------------------------

昨日の朝実施した緊急措置により、多くのユーザーの皆様の接続と同期を改善させましたが、引き続き一部のユーザーからは問題が報告されています。常に良好なパフォーマンスを得るユーザーもいれば、ネットワークの問題が多く生じているユーザーもいます。この状況は、オペレーティングシステムや地理的場所に固有なものではないようです。が、カリフォルニア州から遠距離にいるユーザーの方がより状況が悪い可能性があります。あるネットワーク上では同期できるが別のネットワーク上ではできないというユーザーからのレポートが複数ありました。(例えば、自宅でラップトップを同期させることができるが、職場ではできない。または3G携帯電話では同期できるが、自分のPCではできない等)従って、クライアントのネットワーク装置と弊社のサーバーとの間での何らかの相互作用が問題であると思われます。

私のベストの推論ですが、このばらつきの原因は、異なったネットワークが持つ異なった"タイムアウト"の動作にあると思われます。つまり、あるネットワーク環境上では接続確立に一定上以上の時間がかかった場合はかならず中断しますが、別のネットワーク上では正常に稼動します。そのため、過負荷となった弊社のバランサーは、接続を確立するのが一般的に遅くなり、特定のネットワーク環境からの接続要求に対しては、他に比べてさらに処理をうまく行うことができないと考えられます。(しかし、これは推論の域を出ません)

これらすべての問題を解決するため、弊社は古い装置を交換するべく高性能のロードバランサ(A10 Networks AX 2500)を3台購入しました。弊社のオペレーションチームは本日、このうち一台ををデータセンターに導入しようとしています。これはある種の緊急処置であり、本日中に、サービスの中断が短時間ですが生じるでと思われます。(一回の5分程度)この措置がうまくいけば、現在経験している負荷を処理できると思われます。

この進捗を見た上で、本日後ほどまた最新状況をご連絡いたします。

---------------------------------------------------------------------------------------------------------------

Edit - 1月5日 午後7時 PST (日本時間 1月6日 午後12時)

---------------------------------------------------------------------------------------------------------------

先ほど、http://www.evernote.com へのすべての着信トラフィックを処理する新しいロードバランサを導入し、現在のところ問題なく稼動しているようです。お客さまのネットワークのDNSキャッシュが更新されるまでに少し時間がかかる場合があるものの、ほとんどのユーザーの方はこれから1時間以内に、新しいサーバーで経由での接続が開始するはずです。この措置で、現在生じている同期が終了しない問題が解決されると考えています。

-------

Share this post


Link to post

僕がサポートからもらった回答とは違うな。その回答(05 Jan 2011 20:50:56 -0800)は,システム側に原因があったことは全く触れておらず,単に,Chromeで使う場合,遅いのが嫌ならWeb Clipperではなく「デスクトップクリッパー」を使うようにとの回答だった。つまり,仕様であり,我慢しなさいという内容。今回のここでの告知と比べると,単に回答が違うというより,方向がまったくと言ってよいほど逆だと思う。「日本語にてのタイムリーなご案内を行えなかったこと」だけではなく,社内での情報共有もうまく行っていなかったのではないですか?

Share this post


Link to post

6日付で「自炊したPDFファイルなどがおかしくなった」と投稿させていただいた者です。

大事なファイルが15も消えてしまったのも、今回の障害と関係あるのでしょうか。

同期遅延が復旧すれば、私のファイルも元通りになるのでしょうか。

いつもサムネイルで見ていたものを、たまたまリストにしてファイルのサイズを見たから気がついたものの、

そのまま気づかず知らないでいたらと思うとぞっとします。

「第2の脳」から知らないうちに記憶がこぼれ落ちていくようでは困ります。

ファイルがほぼ消失した状態になった原因がわかりましたらお知らせくださいませ。

Share this post


Link to post

nomishipさん

個別のケースについて確実な解決を図るには、アカウント名やアクティビティログ等が必要になる可能性があります。サポートリクエストにお問い合わせいただくのが確実です。

Share this post


Link to post
僕がサポートからもらった回答とは違うな。その回答(05 Jan 2011 20:50:56 -0800)は,システム側に原因があったことは全く触れておらず,単に,Chromeで使う場合,遅いのが嫌ならWeb Clipperではなく「デスクトップクリッパー」を使うようにとの回答だった。つまり,仕様であり,我慢しなさいという内容。今回のここでの告知と比べると,単に回答が違うというより,方向がまったくと言ってよいほど逆だと思う。「日本語にてのタイムリーなご案内を行えなかったこと」だけではなく,社内での情報共有もうまく行っていなかったのではないですか?

どんな質問をされてどんな回答をもらったのですか?

それがないと、なんのお話をされているのか理解できません。

Share this post


Link to post

shoshino さん(中の人のひとり)からようやく日本語での状況説明がありましたが、ちょっと遅すぎますよね。フォーラムの中の人との橋渡しをする立場としても、フォーラムで案内できる情報が入手できず(もっとも、今回の不具合に直接かかわるトピックも立ちませんでしたが)心苦しいと同時に、「Evernoteの中の人はなにをやっているの?」という印象でした。その間、年始のブログポストやMacApp Storeについてのツイートなどはさえていましたけれども、USも含めてちょっと順番とやり方が違うんじゃないかと思います。今後、ユーザーに対する情報提供のしかたを根本的に見直していただきますよう、外村会長以下すべての日本のEvernote社の皆様にはお願いしたいと思います。

一方でユーザーの皆さんにおいては、どうか個別の詳細についてはサポートリクエストをご活用いただきますよう、お願いしたく思います。

Share this post


Link to post

sugaiさま、

わかりました。 ありがとうございます。

サポートを利用してみます。

Share this post


Link to post

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

×
×
  • Create New...