*
[Linux] さくらのVPSの構成を妄想してみる
さくらのVPSの正式サービスが9/1に開始された。
そこで、HWの構成について妄想してみた。妄想は全て仮定・空想の物であり、さくらインターネットの関係者でも無いため、正しいか正しくないか、内容についての保証は一切有りません。あくまでも妄想・推測をした物に違いはありません。
まず、構成については、明らかになっている物を
Wikiにまとめてみました。
田中氏のTwitter等の発言によると、次のようになっているそうです。
ルータはVRRPで冗長化、サーバは 富士通 PRIMERGY を使用、RAID10でハードディスクの冗長化。
また、KVMの検証機として、研究所ブログには、
富士通PRIMERGYが届きましたというエントリ。ここには、PRIMERGY RX200 S5 が届いたと有ります。検証と実構成をあえて変更する理由がなく、さらに、専用サーバで取扱HWのストックが有るということを考えると、このHWを使っている可能性は有るでしょう。無論、CPUやディスク、メモリについては、本運用では構成が異なる可能性が大いに有りますが...ちなみのこの写真によると、2CPU搭載、メモリは12本、HDDは4本搭載ということなので、本運用は2ソケット、12本メモリということの可能性が十分に考えられそうです。
カタログを見ると、ディスクについては標準6台までの構成が可能で、最大オプションベイを使うと8台まで可能となっているが、特殊構成を作ってしまうと今後の運用、部品の調達で困るということで、恐らく最大6台構成ではないかと推察。
RAID10ということは、最大、137GB*4(実質274GB)若しくは、137GB*6(実質411GB)ではないかという事。何故 137GBを想定したかというと、仮想化ではディスクIOが重要視される。その為、回転数の高い物を選択する可能性があり、300GBのディスクは10000rpm, 137GBのディスクは、10000rpm及び15000rpmの2モデルがある。パフォーマンスを重要視するのであれば、15000rpmのディスクを使用するのが妥当な所だろう。富士通のサイトによると、10krpm 137GB \36k, 15krpm \60k, 300GB 10krpm \80k となっている。IO性能を取り、価格帯で計算するならば、15krpm 137GB 6本で 36万円。IO性能が十分だと判断すれば、10krpm 137GB 6本 21.6万円の可能性も有る。1300GB *4 ならば、32万円となる。これなら、更にユーザを詰め込むことを計画しない限り、137GBのほうが性能が良いだろう。漢らしく300GB*6という構成も勿論考えられますが;p IO性能からも考えてやはり6本構成が妥当ではないかなぁ。だけど、専用鯖モデルでは、300GB*4なんですよね(後述にて)。
次に、VPSの空間は、/23(256*2個分のIPアドレス)を1サブネットとして使用していた。また、
さくらのVPS980 ネットワーク空間を参照してもらえれば解るが、逆引きから推測するには、各サブネットに収容サーバが18台有ること考えられる。
現時点ではIPアドレスの追加サービスを行っていない事もあり、更に逆引きから収容ホストを推測するには、432台(最大)計画していると考えられる。勿論、IP空間的には、逆引き設定はされていない物の、収容機+10台分設置するための空間がプールされているように読み取ることも出来る。尚、パケットフィルタリングで、収容機にはpingが届かないが、arpを確認したところ、1000番台のVPS群には、18台収容機があることが確認出来た。(59.106.172.29 は逆引き無いのに、arpは引けるんだよなぁ…。これはなんだろ?追加収容機(バックアップ用なのかしらw)
すなわち考えられる構成として、最大432/18収容サーバで計算すると、1ホスト当たり24ユーザ収容可能という計算になる。
しかし、公開ベータテストの時は300ユーザ募集だったので、300/18すると、1ホスト当たり、17台仮想サーバを収容するという計算となる。
17台ということは、20GB*17台。すなわち、340GB程度。この構成であれば、137GB*6(実質411GB、RAID1+0)の構成が可能だ。
本番サービスでも、17台収容ということでやっているのであれば、上記の構成で可能だが、本番サービスとなると、HWストックも持つということも考えられるので、137GB*8の構成か、300GB*6の構成となる可能性もある。
きっと、さくらインターネットでは、無理に収容することを考えないと信じているし、余裕のある構成にしていると信じているから、137GB*6の構成で、17ユーザ最大ということを信じたいw(妄想の中で更に妄想するw)ね?そうですよね?(-_-;
次に、メモリについては、512MB*17ユーザが最低だと考えて、8.7GB。2割ぐらい多めに見て、10GB強。ディスクIOを減らすために、キャッシュに載るように計算していると考えると、16GBが最低構成だろうけれども、DDR3ということで3本1組ということを考えると、2GB*6=12GB。これは無いだろう。2ソケットCPUを装着しているならば、構成として12スロット埋める可能性もあるけれども、1CPUを想定するのであれば、4GB*6という構成で24GBがせいぜい良いところではないだろうか。きっと、今後もメモリ追加オプションが出てくる可能性も有るだろうから…。
ちなみに、CPUが2ソケット刺さっている前提であれば、2GB*12ということで24GBの可能性もある。メモリの単価考えるとどっちが安いんだろうね。4GB*6とCPU+2GB*12の構成では。ただ、数をたくさん運用してライブマイグレーションを行い、ちまちまとHWローテーションを行うことを考えるのであれば、勿論、その構成を取ることもあるだろうけれども、ストレージが別筐体に無いとなると、その技は使いにくいだろう。(で、実のところ専用のストレージサーバってあるんだろうか!?)そうすると、IOボトルネックが発生しやすそうだなぁ。よほど大規模な構成にしない限り…。となると、その可能性もすくないかなぁ?よく分からんが妄想だけしてみるw
更に、費用の話で見てみると…。どうもそう言うわけに行かないんだよなぁ。さくらさんがどれぐらいの価格でHWを仕入れているかっていう話にもなるんだけれども、
専用サーバのプランを見てみると、ラインナップとして、Fujitsu RX200 S5 QuadCore Xeon 2CPU Quad-Core Xeon L5506 2.13GHz×2 600GB(SAS) RAID1+0 という構成があるので、恐らくこれがベースとなるのではないかと考えられる。メモリについては増設しているだろうけどね。
この構成から推測するには、300GB*4 でRAID1+0って所かな。
更に、このサーバが、月額35,800円で出していることから、1ヶ月の収益がそれぐらい欲しいのではないかと考えると、36台は最低詰め込みたいと考えるはず。そうなると、現実的問題としてディスクが720GB必要となるので無理ですが。(全ユーザが20GB使うとは限らないので少々少なくても何とかなるという話しもあるが、あふれたときのリスクもあるので、余りやらないだろう。)
はてはて、原価は幾らで仕入れて、何ユーザ詰め込んでいるのでしょうか。単価計算で考えると、30弱は詰め込みたいだろうし、性能を取るならば、最初に書いたとおり17程度。で、実のところはどうなんでしょうか?
コスト計算について分からない人が書いているので、全く見当違いの話を書いてるかも知れないですけど。。。
(ちなみに電気代、インフラ代は特に考えていないので、そのことも考慮すると、単価計算はもうすこし複雑になると思いますが)
と考えると、
300GB*4ないし6の構成で使っている可能性が高いという自然的な導き。どーなんでしょ。
ということで、こういう事を妄想すると楽しいなぁ。中の人、答え合わせをしてw
インタビューの内容では、このシステム開発に、10〜20人月程度だったということで、1,2万人の利用者が見込めれば直ぐに回収出来るということは、1人当たり高めの70万として計算すると、1400万円でこのシステムが出来たってことかぁ。2万人使ってくれれば、700円/user 当たり乗っけると回収できるのか。更に最低3ヶ月契約で計算すると…。1年で計算すると…。ということですね。HWの減価償却は何年でやってるんだろう。3年? 5年? にもよるけど、人件費よりHWのコストの方が高そうですね...それを差し引いても利益が出るんかぁ。HWは幾らで仕入れているのか興味があります。
でも、上手くぼかしてるよなぁ。単価でいうと、10人月で開発、1万ユーザ、20人月で開発、2万ユーザ。どっちも割った最終的な価格は価格は同じ…?
*
[Univ] 大学院合宿に参加してきました
*
[Life] 8月の盆休みからの走行距離...
8月10日、46666km
8月12日、47281km
8月17日、47507km
8月17日、47667km
8月19日、47681km
8月30日、48367km
9月04日、48629km
9月05日、48856km
現在はちょっとメーター見ないと分からないけど、走行距離おかしいな(w
1月末の車検の時は4万キロなかったような覚えが...
これは、いつも私が疑問に思うこと。
VPS等の仮想化を行っているシステムは、一般的にハイパーバイザ(Hyper-Visor)という仮想化を行うOSが有り、HVの層から見れば、ディスクイメージ(巨大なファイルの固まり)、若しくはファイル群として見える。
この層は非常にセキュアになっている筈だが、システムのセキュアという意味ではなく、仮想化システムのインフラ管理者達の事だ。勿論ゲストOS側のインシデントが発生した場合、調査はしやすくなる可能性も有るが、HVの層で触ってしまうと、ゲストOS環境からは触られたことを確認する事が出来ない。
物理的なHWの上にインストールされている場合、ディスクイメージという概念はなく、直接ハードディスクに記録されている。持ち出す場合はいくらかあるが RAID-1/mirror になっている場合、片側のディスクを取り外しダンプする等の方法があるが、物理的にその場所にいき、作業を行わないといけない。また、HBAの種類によっては、OSにディスクの障害として検知されることも多いだろう。その為、簡単にデータを取り出す、見ることは難しい。(環境によってはiSCSI HBAを使うことも有るだろうけどね。)
しかし、仮想化システムの場合はどうだろう。専用ソフト(クライアントユーティリティ)を使用したり、SSHで接続することでリモートで簡単にイメージをとり出すことができる。また、スナップショットを使えば、動いているメモリの状態まで複製することが出来てしまう。ファイル群であれば、ゲストOSより下の層でファイルを抽出することも出来るし、イメージ丸々を持ち出してしまいダンプすることは容易だ。また同じシステムを別環境で動かすことも簡単だ(仮想化システムのメリットでもある)。そのようになってしまえば、ゲストOSから見ればログインなしに環境の複製若しくはファイルの持ち出しが可能となってしまう。また、管理用ネットワークが汚染されてしまったりするとリスクは大きい。
こういったセキュリティー的なリスクについて、述べているサイトは少ないのではないかと思う。安全だという話を書いているVPS事業者も少ないような気がした。
このあたりを担保していますといっている事業者はどれぐらいあるのか気になるところだ。
もう一つある。ユーザによる脆弱性だ。
正直ここまで低価格化しちゃうと、レンタルサーバより安かったり、自由度が高いVPSを勘違いしてレンタルサーバとして借りるユーザが多いのではないかと思う。
見よう見まねにインストールをおこない、サーバの運用をしたこともないひとが、rootになり、使う。
そういうユーザに限ってsshの鍵認証やiptables といったFireWallの設定の知識はなく行われない。
サーバのアップデートも行われないでしょう。動き始めたら。
こういったサーバが増え、クラックされたり、乗っ取られたり、OpenProxyとして設定されていたり等で、周りに迷惑を掛ける。こういったケースも非常に増えるのではないかと危惧される。この辺に対する罰則規定も設けられることもなく、DNSRBLなどに登録され、訳ありアドレスとなってしまう。また、格安VPS等であれば、ユーザの入れ替わりも激しく訳ありIPアドレスを割当されハズレのIPが割当されたハズレVPSを引くことが多いだろう。
VPSとは違うが、過去に静岡でInterlinkの固定IPを契約した。地方なので、他の選択肢があまりなく、即時発行ということで利用したのだが、この時割当されたInterlinkの固定IPは訳ありで、RBL登録されており、解除されないまま新しいユーザへ割り振りされるという事件が起こり、気分が良くなかったので即解約(純粋に遅く2Mbpsも出なかったというのもあるのだが)。激安ISPの固定IPも入れ替わりが激しく、また、OP25Bなども入っていないため悪用され、解約(契約解除?)されることが多い。利用規約により強制解除されるだろうがそのあとの後処理がされないことも多いと考えられる。同様に安価なVPSだと同じことが発生し、訳ありIPアドレスが割り振られるといったこともある。
ちなみに、このInterlinkを契約したときに割当されたIPアドレスからWikiPediaにIPv6の記事を編集しようとしたら、ブラックリストに入っていた。ブラックリストの理由は荒らし、コメントスパムだった。
なぜ、利用者が第三者が悪事の働いたIPのために、解除してもらわないといけないのか、非常に不条理だと思ったこともある。
さて、VPSに戻ろう。先日私の
BBS(半分ハニーポット的な掲示板になりつつあるが)にコメントスパムが届いた。
調べてみるとDTIのVPSだ。ワンコインVPSということで人気があるが即やられていた。
そのネタについては
[Security][Neta][IPv6] 出た!国内で<del>クラック</del>OpenProxy?になっている思われるIPv6サーバという日記を7/5に書いている。同じようなことが今後もたくさん発生しそうだ。
★ 2010/9/9 追記:
更に疑問に思ったことを追記。
そのVPS上で犯罪が行われた場合、押収される可能性があるが、仮想化されていると、収容ホストという概念はあっても、仮想サーバという実態を持たない。場合によってはインフラのセットを押収される可能性が無いだろうか。また、ディスクレスの環境で、iSCSIやFC等使っている場合は、実態となるデータを持たないため、ストレージが対象物とならないだろうか。例えば、物理機の場合だと、ディスクが搭載されているケースが多く、そのまま押収したあと、電源を入れたら起動するだろうが、イメージとなり、逆にそのままだと起動してもバラバラなため中身がないなどそう言った状態に鳴りうる可能性もある。さてはて、仮想化した場合の押収されるケースはどうなるのだろう。疑問である。
[IPネットワークアドレス] 2403:f200::/32
[ネットワーク名]
[組織名] 日本通信株式会社
[Organization] Japan Communications Inc.
[ネームサーバ]
[割振年月日] 2010/08/16
[IPネットワークアドレス] 2404:0200::/32
[ネットワーク名]
[組織名] 北電情報システムサービス株式会社
[Organization] Hokuden Information System Service Co.,Ltd.
[割振年月日] 2010/08/19
[IPネットワークアドレス] 2404:0a00::/32
[ネットワーク名]
[組織名] 株式会社 石川コンピュータ・センター
[Organization] Ishikawa Computer Center Co.,LTD
[ネームサーバ]
[割振年月日] 2010/08/23
[IPネットワークアドレス] 2404:3200::/32
[ネットワーク名]
[組織名] スターネット株式会社
[Organization] STARNET Co.,Ltd.
[ネームサーバ]
[割振年月日] 2010/08/30
[IPネットワークアドレス] 2404:5200::/32
[ネットワーク名]
[組織名] 株式会社 ベッコアメ・インターネット
[Organization] BEKKOAME/INTERNET
[ネームサーバ]
[割振年月日] 2010/09/06
*
[Network] ドワンゴについて、ネットワークが気になったので調べてみた。
$ zcat jpnic.db.20100909.gz |grep -B 4 DWANGO |grep inetnum
inetnum: 125.63.42.0 - 125.63.42.63
inetnum: 202.219.104.0 - 202.219.105.255
inetnum: 202.248.110.0 - 202.248.110.255
inetnum: 219.127.168.0 - 219.127.168.127
inetnum: 122.220.200.216 - 122.220.200.223
inetnum: 210.154.102.0 - 210.154.102.127
inetnum: 119.75.238.64 - 119.75.238.127
inetnum: 119.75.227.128 - 119.75.227.191
inetnum: 119.110.94.0 - 119.110.95.255
inetnum: 119.110.91.0 - 119.110.91.255
inetnum: 119.110.90.0 - 119.110.90.255
inetnum: 119.110.88.0 - 119.110.95.255
inetnum: 119.110.88.0 - 119.110.88.255
inetnum: 119.110.89.0 - 119.110.89.255
inetnum: 61.113.104.0 - 61.113.104.255
inetnum: 61.204.150.0 - 61.204.150.255
inetnum: 210.162.18.0 - 210.162.18.127
たくさんIPアドレス持ってるねぇ。後日wikiにまとめよう。
huga.jpというドメインを譲り受けたので、利用してみた。
その前に取得していた前任者も同じことをやっていたので意思を引き継ぐ+アルファの事をやっているのだけれども、
huga.jp というドメインは、hoge -at- huga.jpといった使い方をしたりされる。知り合いの
@densukeさんが運用しているドメイン:fuga.jp も同じようなケースで、hoge@ というやり方をやられたり、適当ないい加減なメールアドレスとして入力されるという傾向が有るそうだ。
で、huga.jp ではどれほど来るのかウォッチも兼ねてやってみた。
尚、huga.jp は私のドメインですので、勝手にいい加減なサンプルで勝手に利用しないで下さい。
*1
当時のドメインの保有者であれば、資料として残っている可能性が有るかと思いますが、当時の所有者の記事ですのでどうこういうつもりは一切ありません;p
こんな所でしょうか。hoge.jp とか fuga.jp の方がたくさんhitするけど、そのお二人方はスパムとかどうなのでしょう。
ついでに、fuga.jp で調べてみたところ、涙目な物がいくつかw
てことで、即興で遊んでみました。
教訓:サンプルやドキュメントに使用する場合は、予約ドメインとなっている example.jp 等を使用しましょう。
*1:
取りあえず、上記のことを書きたかっただけだw。私のIPアドレス…というネタに便乗しまして。。。
*
[Internet] 今日のITホワイトボックスは微妙…な出来具合。
内容については問題ないが、サンプルで使用している映像の話し。
一枚目のこの映像は凝っていますね....
映像に映っているドメインを検索してみよう。
映像に映っているドメインは次の通り(全部ではありませんが…。)。
- curryshopwhitebox.co.jp
- itwhitecurry.com
- curry-no-hako.co.jp
- chisatocurry.com
- europeancurry.com
- indi-indi.com
- super-gekikara.com
そのうち存在したのは次の2つのドメイン。
Domain Name: EASYCOOK.COM
Registrar: NETWORK SOLUTIONS, LLC.
Status: clientTransferProhibited
Updated Date: 22-apr-2010
Creation Date: 24-jan-1999
Expiration Date: 24-jan-2011
Domain Name: INDI-INDI.COM
Registrar: ENOM, INC.
Status: ok
Updated Date: 18-mar-2010
Creation Date: 21-may-2009
Expiration Date: 21-may-2011
微妙じゃありませんか...
NHKなんだから、、、もうすこしは気を遣ってください...
Diary for 5 day(s)