9月 25

セキュリティーの問題がクリアできれば、独自ドメインでメールアドレス(サーバー)を運用するのにGoogle Apps(Gmail)を利用しない理由はないと思います。

無料版であるStandard Editionでは

  • 無料(広告が表示されるだけ) で1アカウント7GBのメールボックスが独自ドメインで作成できる
  • 50アカウントまで作成可能
  • Gmailと同じUI、同等の機能(検索、スパムフィルター、POP/IMAP対応、携帯・iPhone対応など)

といった目に見える特徴と、なんと言ってもサーバーを保守する必要がないという絶大なメリットがあります。

そこで、メールサーバーとしてGoogle Appsを利用する際に行った設定(主にDNS)と、自戒を込めて、アプリケーションサーバーでメールを送信する場合のポイントを書きたいと思います。

Google Apps の導入手順のステップ 4: ユーザー アカウントの作成以降の説明となります。

MXレコードを設定する

利用するドメインを管理しているDNSサーバーにMXレコードを追加します。

MX レコードの設定 – Google Apps ヘルプ
に設定すべきメールサーバーと、プライオリティーが記されているので、この通り設定します。cloudropではxxxxxx@cloudrop.jpというメールアドレスを利用するので、cloudrop.jpに対してMXレコードを以下のように設定しました。

bindの設定ファイル

cloudrop.jp.	900	IN	MX	1 aspmx.l.google.com.
cloudrop.jp.	900	IN	MX	5 alt1.aspmx.l.google.com.
cloudrop.jp.	900	IN	MX	5 alt2.aspmx.l.google.com.
cloudrop.jp.	900	IN	MX	10 aspmx2.googlemail.com.
cloudrop.jp.	900	IN	MX	10 aspmx3.googlemail.com.

上記ヘルプはたびたび更新されていて、参考にしたタイミングによっては載っているプライオリティーの値やサーバーのアドレスが増減していることがあるようです。サーバーのアドレスがいきなり変わることはないと思いますが、リスクを考えてTTLはなるべく少なくして運用します。
メールサーバーの台数を見ても、同じように自前で5台用意して運用するコストを考えると、メリットは歴然ですね。

ちなみに、digコマンドを利用するとメールサーバーにGoogle Appsを利用しているかどうかがわかります。例えば、有名な事例となっている東急ハンズのドメインを引いてみると

dig tokyu-hands.co.jp MX

; <<>> DiG 9.6.0-APPLE-P2 <<>> tokyu-hands.co.jp MX
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 54632
;; flags: qr rd ra; QUERY: 1, ANSWER: 5, AUTHORITY: 3, ADDITIONAL: 5

;; QUESTION SECTION:
;tokyu-hands.co.jp.		IN	MX

;; ANSWER SECTION:
tokyu-hands.co.jp.	900	IN	MX	5 ALT1.ASPMX.L.GOOGLE.COM.
tokyu-hands.co.jp.	900	IN	MX	5 ALT2.ASPMX.L.GOOGLE.COM.
tokyu-hands.co.jp.	900	IN	MX	10 ASPMX2.GOOGLEMAIL.COM.
tokyu-hands.co.jp.	900	IN	MX	10 ASPMX3.GOOGLEMAIL.COM.
tokyu-hands.co.jp.	900	IN	MX	1 ASPMX.L.GOOGLE.COM.

;; AUTHORITY SECTION:
tokyu-hands.co.jp.	900	IN	NS	ns02.tokyu-hands.co.jp.
tokyu-hands.co.jp.	900	IN	NS	dns2.broadcenter.jp.
tokyu-hands.co.jp.	900	IN	NS	ns01.tokyu-hands.co.jp.

;; ADDITIONAL SECTION:
ASPMX.L.GOOGLE.COM.	131	IN	A	209.85.223.23
ALT1.ASPMX.L.GOOGLE.COM. 127	IN	A	209.85.210.80
ALT2.ASPMX.L.GOOGLE.COM. 211	IN	A	74.125.93.114
ASPMX2.GOOGLEMAIL.COM.	858	IN	A	209.85.135.27
ns02.tokyu-hands.co.jp.	900	IN	A	59.84.175.199

と、TTL900でGoogle AppsのMXレコードが5つ設定されているのがわかります。

SPFレコードを設定する

次に、SPFレコードを設定します。
SPFレコードについては、

が詳しいので、ご覧下さい。
この設定をしておくとことで、スパムフィルターに引っかかる確率が下がります。

SPF レコードの設定に詳細が載っていて、DNSのTXTレコードに設定をすれば済むのですが、そのドメイン内で何かしらサービスを動かしている場合、Gmailのサーバー以外からメールを送る可能性があるので、そのサーバーのアドレスも合わせてSPFレコードに登録するべきです。

例えば、Web上から入力されたフォームをinfo宛にメールで飛ばしたり、各サーバーでLogwatchのレポートメールを飛ばしたりする場合です。

cloudrop.jpでは、アプリケーションサーバー(67.23.44.103)も@cloudrop.jpとしてメールを送信するので、以下の設定をしています。

bindの設定ファイル

cloudrop.jp.	600	IN	TXT	"v=spf1 ip4:67.23.44.103 include:aspmx.googlemail.com ~all"

これを設定することで、アプリケーションサーバーが送信するメールのヘッダーが以下のように変ります(Gmailの場合)。

設定前

Received-SPF: neutral (google.com: 67.23.44.103 is neither permitted nor denied by best guess record for domain of example@cloudrop.jp) client-ip=67.23.44.103;
Authentication-Results: mx.google.com; spf=neutral (google.com: 67.23.44.103 is neither permitted nor denied by best guess record for domain of example@cloudrop.jp) smtp.mail=example@cloudrop.jp

設定後

Received-SPF: pass (google.com: domain of example@cloudrop.jp designates 67.23.44.103 as permitted sender) client-ip=67.23.44.103;
Authentication-Results: mx.google.com; spf=pass (google.com: domain of example@cloudrop.jp designates 67.23.44.103 as permitted sender) smtp.mail=example@cloudrop.jp

MTAの設定(Postfix)

後はアプリケーションサーバーのMTAの設定です。
サーバー導入当初、Postfixの設定を間違えてメールが配送されないというミスをしてしまったので、自戒を込めて。

Postfixは受け取ったメールの送信先ドメインが/etc/postfix/main.cfの$mydestinationに設定したドメイン(FQDN)のリストに含まれているかどうかを判定します。含まれていた場合は自分自身のユーザーへ配信、含まれていない場合は該当するサーバーまで配送します。

Google Appsで設定したドメイン宛のメールはGmailのサーバーへ配送しなければいけないので、$mydestinationに含んではいけません。Google Appsに限らずメールゲートウェイでないサーバーでは当たり前の設定なんですが…。

Gmailにrelayするという選択肢

いちいちSPFレコードを追加するのも面倒くさいし、いっそのことGmailのサーバーへrelayしてしまえばいいという考えもあります。Postfixでは設定ファイルに数行追加し、パスワードファイルを作成することで簡単にrelayさせることができます。

Postfixの設定ファイルに追加します。(以下、CentOS5の場合)

> sudo vi /etc/postfix/main.cf

relayhost = [smtp.gmail.com]:587
smtp_use_tls = yes
smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sasl_tls_security_options = noanonymous

設定ファイルで追加したパスワードファイルを作成し、ハッシュ化します。

> sudo vi /etc/postfix/sasl_passwd

[smtp.gmail.com]:587    example@cloudrop.jp:password

> sudo postmap /etc/postfix/sasl_passwd
> sudo /etc/init.d/postfix restart

(ハッシュ化するとsasl_passwd.dbというファイルが生成されます。)

参考サイト

この設定を行うと自サーバーから送信することはなくなるのですが、Gmailの仕様に引っ張られてしまい、使いにくい面が多々あります

まず、送信元がGmailのアカウントに上書きされてしまいます。例えば、example@cloudrop.jpというアドレス所有者としてrelayした場合、envelope fromをinfo@cloudrop.jpで送信したとしても、example@cloudrop.jpに上書きされ送信されてしまいます。アプリケーションや用途によって送信元を変えたいのが普通ですので、この仕様では使いにくいところです。

また、relayしたメールは該当メールアドレスのGmail送信箱に保存されていきます。1ユーザーのアカウントでrelay設定をした場合、システムが送ったものと人間が送ったものが混ざってしまうということです。

逆に、システム専用のアドレスを用意し、そのアドレスでrelayすればGmailの送信箱にメールが残り、検索しやすくなるなどのメリットもありそうですが、そのサーバーが送信するメールの送信元が全てrelayしたユーザーのアドレスになることを前提にシステムを構築しないといけませんし、Gmailで検索するのにシステム専用のアカウントでログインする必要があるなど、やはり使いにくさは否めません。

Gmailのメリットを享受しようとするならば、Gmailの自分宛にCC(BCC)してラベルを付けるなどした方が楽で、残念ながらrelayして活用するメリットはなさそうです。

Tagged with:
9月 14

ブログの更新をTwitterへ通知するのにFriendFeedを利用しているのですが、FriendFeedのクローラ―がフィードを取得しにくるまでTwitterへは通知されず、ひどい時は1日経っても通知されないことがありました。

これを解消するために、最近Googleによって開発・公開された新しいプロトコルPubSubHubbubに対応させました。

PubSubHubbubとは

PubSubHubbubは、今までの配信者(Publishers。以下、ブログ)と購読者(Subscribers。以下、RSSリーダー)が直接やり取りをしていたその間に、ハブ(Hubs)と呼ばれる中間サーバーを配置して、そのハブを介してメッセージのやり取りをWeb Hooksの仕組みで行うものです。
Web Hooksはある決められたアクション(たとえば、「ブログの公開ボタンを押す」など)をきっかけに動作して、決められたデータを決められたURLに決められた方法で送信する仕組みです。

いままで「更新されました?」「いや、まだです。」と304の繰り返しだったフィードの世界に、「更新したしました」きっかけで、購読者に一斉に通知が行くわけですから、こんなエコな仕組みはないと思います。

WordPressで対応するには

簡単です。プラグインを入れるだけです。
現在PubSubHubbubに対応させるためのプラグインは2つ出ていて、どちらも最新の2.8.4に対応していますし、機能的には同じですので好みで導入しましょう。

ハブのURLを登録するだけの簡単な設定画面で、しかもすでに2つのハブが登録されているので特に設定することはありません。

プラグインを有効にすると、出力されたAtomに
<atom:link rel="hub" href="http://pubsubhubbub.appspot.com"/>
<atom:link rel="hub" href="http://superfeedr.com/hubbub"/>
とハブへのリンクが追加されます。

ここから以下の流れで更新の通知がされるようになります。

  1. この新しいフィードを取得したPubSubHubbubに対応したRSSリーダーがハブへのリンクを読み取って、ハブに購読の依頼を行います。
  2. ハブは本当にRSSリーダーが依頼してきたのか確認します。確認ができたら次回の更新から通知するように動作します。
  3. WordPressで新しく記事が公開されたタイミングで、プラグインがハブに対して公開の通知を送信します。
  4. ハブは本当に記事が公開されたのか確認します。確認ができたら購読の依頼があったRSSリーダーへ通知を行います。

PubSubHubbubの実力

実際に前回の投稿がどのようになったかを追ってみました。

まず投稿後、ハブからチェックがきます(apacheのログ)。

64.233.172.18 - - [12/Sep/2009:18:42:23 +0900] "GET /feed HTTP/1.1" 200 14246 "-" "AppEngine-Google; (+http://code.google.com/appengine; appid pubsubhubbub)"

ハブのデバッグツールでハブにどのように登録されているか確認してみると、

ハブのデバッグツールのキャプチャ

無事登録されているようです。(クリックで拡大)

ではFriendFeedの方はというと、

FriendFeedのキャプチャ

WordPressの投稿ボタンを押して、登録が終わってから一拍おいてすぐ画面に現れたくらいの感覚です。

さて、本題のTwitterは

Twitterのキャプチャ

素晴らしい!画面の更新タイミングに影響していますがが、ほぼリアルタイム。

その他のPubSubHubbub対応サービス

FriendFeed以外にも、Google ReaderGoogle Alertslivedoor Readerなどが対応していて、確認できるGoogle Readerとlivedoor Readerでも確認してみました。

Google Reader

PubSubHubbubへの対応という記事は共有機能からということだったので、対応していないかもしれないと思ったんですが、

Google Readerのキャプチャ

時差なしできっちり更新に上がってきました。(クリックで拡大)

livedoor Reader

こちらは更新がされず…。

ライブドアリーダーのキャプチャ

PubSubHubbub対応後にlivedoor Readerのクローラが来ていることは確認しているので、腑に落ちないところです。

(※ 最初の更新でLDRがそのブログのpubsubhubbub対応を検出し,次の更新から更新情報を受けるようになるので,二回目の更新から反映が最速になります。)
PubSubHubbub で最速に更新を通知しつつ,舌をかまないためのテスト : nabokov7; rehash – livedoor Blog

ということなので、この更新から反映されるようになるかもしれません。
今回は確認できず。

2009/9/15 追記
やはりlivedoor Readerではすぐに更新されませんでした。
時間が経ってからの更新だとクロールによる更新なのか、ハブからの通知によるものなのか判断できないので、やはり確認できず。
livedoor Readerでちゃんとリアルタイムで更新されてるというパブリッシャーはいらっしゃるんでしょうか。livedoor Blog以外で。
ざっと調べてみたところ実践している方はいらっしゃいましたが、やはりリアルタイムでの更新は確認できていないようです。

わかりにくいPubSubHubbub

読み方の話ではなく。
複数の要素が絡まっているため、仕様が明らかとは言え、ブログ側からするとハブやRSSリーダーの挙動がわからず、更新が通知されない場合に理由がわかりにくい側面があります。

例えば、ハブへ購読依頼をするRSSリーダーが、エントリーが更新されているかどうかにかかわらず、フィード内にハブへのリンクを検出したらハブへ購読依頼をする仕様なのか(FriendFeedはこちらのようです)、エントリーが更新されたタイミングで検出・通知する仕様なのか(livedoor Readerはこちらのようです)、などです。

FriendFeedは前者のようなので、PubSubHubbub対応を行った後に、1度フィードを手動で読み込ませれば次のポストから反映されるはずです。

FriendFeedでフィードの手動取得

設定→サービス 追加/編集→マイサービスのリンクをクリック→Blogを更新(クリックで拡大)

まだまだ新しい仕組みなので、確立されるまでもう少し時間がかかるかもしれませんが、多くのサービスが対応してさらに便利になることを望みます。

参考サイト

FriendFeed→Twitterの詳しい説明が載っています。

PubSubHubbubに関する参考サイト

Tagged with:
9月 12

クラウドのホスティングサービスは、一定リソースの時間極課金+通信トラフィックの従量課金が一般的です。

CPUやメモリなどのリソースは、1%しか使わなくても100%使っても時間内の料金は同じです。
一方で通信料は使った分だけGB単位などで段階的に課金される仕組みです。

この料金体系では、なるべくリソースを使い切って、且つ通信料を抑えることが最も費用対効果のある利用方法となります。

サーバーからクライアントへのレスポンス、特にブラウザーのロードとレンダリングを高速化させるために、Yahoo!のYSlowやGoogleのPage Speedを使ってチューニングを行うのと同じようなアプローチで、なるべくCPUに仕事をさせて、トラフィックを減らしてみたいと思います。

キャッシュ機能を最大限利用する

Expires

Apacheのmod_expiresを有効にすることで、レスポンスヘッダーにExpiresフィールドが出力され、最初のアクセス以降設定した期間が経過するまでブラウザーはローカルのキャッシュを利用し続けます。
この設定は強力で、ローカルのキャッシュがなくなるか、強制リロードをしない限り、サーバーへアクセスすらしません。
(逆に、更新をかける余地のあるファイルには設定しない方がいい項目です。)

LoadModule expires_module     modules/mod_expires.so
ExpiresActive On
ExpiresByType application/javascript "access plus 1 days"
ExpiresByType application/x-javascript "access plus 1 days"
ExpiresByType text/javascript "access plus 1 days"
ExpiresByType text/css "access plus 1 days"
ExpiresByType image/jpeg "access plus 3 days"
ExpiresByType image/png "access plus 3 days"
ExpiresByType image/gif "access plus 3 days"
ExpiresByType image/x-icon "access plus 3 days"

有効期間の設定には以下の単位も利用できます。

  • years
  • months
  • weeks
  • days
  • hours
  • minutes
  • seconds

Last-Modified、Etag

次に、キャッシュが切れていよいよブラウザーがアクセスをしてきた時のための設定を施しておきます。

特段設定をしないとApacheはLast-ModifiedEtagフィールドをセットしたヘッダーを送信します。
この値を受け取っているブラウザーは、Last-Modifiedの値をIf-Modified-Sinceに、Etagの値をIf-None-Matchに含めてリクエストを送信します。
受け取ったサーバーは値を比較して変更が無ければコンテンツの中身は返さず、304 Not Modifiedを応答します。

コンテンツを返さない分トラフィックは抑えられるわけですが、この二つのフィールドはコンテンツを返すか、返さないかを判断するという意味では同じで、解釈の仕様によって動きが変わってきます。

Apacheにおいては、If-Modified-SinceよりもIf-None-Matchが優先されます。
If-Modified-SinceはIf-None-Matchがない場合にだけ利用され、If-Modified-Sinceの値が同じでも、If-None-Matchの値が変更されていた場合には、コンテンツを返します。

これだけ優先されるIf-None-Matchなので、ETagの値を間違ってセットするとサーバーが毎回コンテンツを返してしまいます。
この辺りでよく問題にされるのは、負荷分散環境下で複数のサーバーが同一コンテンツを返しているような場合です。
クラウドのホスティングサービスを選択するようなケースでは、スケールアウトする仕組みが期待されることが多いので、あらかじめ設定しておくべき項目です。

Apacheがデフォルトで出力するETagが「ファイルの inode番号、ファイルサイズ、更新時刻」を元に生成するので、inode番号がサーバーによって変わってしまう環境では、せっかくIf-None-Matchを送っていても受け取るサーバーごとで比較するETagが違い、毎回無駄にコンテンツを返してしまいます。

以下のサイトに解説や実例があります。

これを回避するために、ETag自体を出力しない方法と、ETagの生成にinode番号を利用しないようにする方法と2通りあります。

ETag自体の出力をしない

FileETag None

ETagの生成にinode番号を利用しない

FileETag MTime Size

どちらにせよ、これらの設定では「最終更新日」が重要な要素になってきます。
ETagを出力しない場合はLast-Modified(最終更新日)での判定が有効になり、inode番号を利用しない場合はファイルサイズと最終更新日がベースとなったEtagでの判定になるからです。

最終更新日が全てのサーバーで同じになるように、ファイルをコピーする時、同じタイムスタンプになるように注意してコピーしなければなりません。rsyncであれば-tオプションを付けてコピーします。

ETagを出力しない場合は、内容に変更があったファイルでもタイムスタンプが同じであれば同一ファイルと見なされるリスクがあります。
inode番号を利用しないでETagを出力した場合は、その分リクエスト・レスポンスヘッダーともに微増し、トラフィックに若干影響があります。

トラフィックを抑えることが最優先であれば出力しない、ファイルの管理を厳密に行いたいのであれば出力する、ETagの設定をどちらにするかは状況によって変わってくると思います。
今回の趣旨では、ETagは出力しない方がいいということになります。

コンテンツは基本、圧縮

mod_deflateモジュールを有効にすると、設定に従ってレスポンスをgzipで圧縮して送信してくれます。
Deflateによる圧縮はCPUに働かせ、トラフィックを減らす、クラウド環境にもってこいの設定です。

LoadModule deflate_module modules/mod_deflate.so
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE text/css
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE application/javascript

Webで利用される画像フォーマットはそもそも圧縮されている場合が多いので、圧縮効率の高いテキストファイルを対象にします。(WordPressの場合、WP Super Cacheを使うことで、記事自体もgzip圧縮して送信できるようになります。)

使える外部リソースを使う

これは番外編です。
RSS、各種APIなどのWebサービスからOpenIDやOAuthなどのリモート認証、Webは外部のリソースと協調する方向へと進んでいますから、利用できるリソースをどんどん活用するのもトラフィック節約になります。
flickrYouTubeなどをホスティング的に利用するのはもちろん、JavaScriptのライブラリはGoogleのAJAX Libraries API、アバターアイコンはGravatarなど、目的に合わせて使える外部リソースを使っていきましょう。

もちろん外部リソースに依存することはリスクでもあるので、いい面ばかりでもありません。1ページに複数ドメインへのリソースがあると、名前解決に時間がかかりページのロードが遅くなるなどの問題もあります。

ご利用は計画的に。

Tagged with:
preload preload preload