読者です 読者をやめる 読者になる 読者になる

Coursera 機械学習コースを修了 & MackerelでAnomaly Detection

はてな社内での勉強会で、Courseraの機械学習コース( https://www.coursera.org/learn/machine-learning/home/welcome )を皆で履修するというのを去年秋に始めていました。

developer.hatenastaff.com

前回は途中脱落してしまったのですが、気をとりなおして年明けからのコースでは無事に修了しました。(スコア100%になってますが復習がてら間違ったQuizやりなおしたりしてます。)

このコースの良さは各所で語られていますので、個人的な所感のみを書いておきます。

  • 日本語字幕もあるけど、英語で頑張ったほうがいいんじゃないか
    • 機械学習系は新しい情報も多いので英語の用語に慣れておいたほうが、後々応用が利きそう
    • 他のコースは日本語字幕ついていないことも多いので、英語での講義に慣れることができるのも良い
  • Octaveでのコーディングも悪くない
    • ベクトルや行列での計算が一発で決まるので大変気持ち良し、行列やベクトルを意識できたのは良かった
    • あと通常のforループによる実装だとマルチコアへの最適化も大変だけど、行列計算で書ければマルチコアでの並列化が処理系側だけでできる(このあたり通常はよくできた実装のライブラリを使うのが通常だろうけれど)

ちなみにはてな社内でも徐々に修了者が増えていて、おそらくいま7名ぐらいがコース終わっていそうです。

blog.sushi.money hakobe932.hatenablog.com

また来週( 4/18 )から新しいコースが始まるので、是非トライしてみてはいかがでしょう。

MackerelでAnomaly Detection

ということで、せっかくなのでちょっと試してみました。Weekly 9のAnormaly Detacionの応用です。

例えば、サービスの応答時間が悪化してアラートが発生した時に、根本原因を探るために各サーバーのCPUやミドルェアの各メトリックを見ながら、似たような異常を示しているグラフを探すことはよくあります。現状だとこのような探索は基本、職人芸になっていると思いますし、原因となっているグラフをいかに早く探し出せるかがノウハウの一つになっていると思います。

Anomaly Detectionというのは、このような探索を自動化しようという話で、Mackerelのメトリックを対象に実装してみました。

具体的な動作としては、次の通りとなります。

  • Mackerelの対象サービスと障害発生時間帯を指定するして起動
  • そのサービスに含まれる各ホストのメトリックを対象時間帯とその前の平常な時間帯にわたって取得する
  • 平常な時間帯のメトリックから微分計算及び、Gaussian Distributionを計算
  • 対象時間帯のメトリックの各データポイントから外れ度合いを計算
  • 外れ度合いの大きい順に各メトリックの埋め込みグラフ一覧をhtmlとして出力

実行結果のhtmlを開くと下のスクリーンショットのようにあやしい順にグラフがずらずらと並んでいる様子が見れます。

スクリプトはもうちょっと良くしたいですね。できればMackerel本体にも組み込んでいきたいです。

gist.github.com

GoのFacebook Messenger Platform APIライブラリを作った

先日からLINE BOTで遊んでいたところ、今朝のfacebookのDeveloper Conferenceのf8でMessenger Platformが公開されたので、合わせてGoのライブラリを作ってみました。

github.com

いつものechobotはこんな感じです。

f:id:stanaka:20160413144318p:plain

Callback URLはhttps必須ですので、herokuなどで動かすのがお手軽でしょう。LINE BOT APIとは異なりIPアドレスホワイトリスト設定は不要なので、Fixieアドオンなどなしで普通にheroku上で動かすことができます。FB_TOKENとVerify用のFB_VERIFY_TOKEN環境変数として設定します。

また、最初にcallbackのverifyが必要ですので、その処理が入ってます。この処理はVerifyが終われば消しても問題ありません。もちろんCallback URLを変更する際は再度verifyが必要です。

facebook Messenger Platformは最初にfacebook appやpageを作ったりいろいろ手順が必要ですので、公式ドキュメントに沿って進めるのが良いでしょう。あと別の人がbotに話しかけてもcallbackが飛んでこなったりすることもあるようで、まだ細かい挙動や条件がよくわからないところもいくつかありますが、そのあたりの熟れてないのを味わうのも初物の面白さなので、いろいろ触って楽しむのがいいんじゃないかと思っています。

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
    "os"

    fbmsg "github.com/stanaka/facebook-messenger"
)

var debug bool
var fb *fbmsg.FacebookMessenger

func callbackHandler(w http.ResponseWriter, r *http.Request) {
    b, err := ioutil.ReadAll(r.Body)
    if err != nil {
        fmt.Printf("Something wrong: %s\n", err.Error())
        return
    }
    if debug {
        log.Println("RecievedMessage Body:", string(b))
    }

    m, _ := url.ParseQuery(r.URL.RawQuery)
    fmt.Println(m["hub.verify_token"])
    if len(m["hub.verify_token"]) > 0 && m["hub.verify_token"][0] == os.Getenv("FB_VERIFY_TOKEN") && len(m["hub.challenge"]) > 0 {
        fmt.Fprintf(w, m["hub.challenge"][0])
        return
    }

    var msg fbmsg.CallbackMessage
    err = json.Unmarshal(b, &msg)
    if err != nil {
        fmt.Printf("Something wrong: %s\n", err.Error())
        return
    }

    for _, event := range msg.Entry[0].Messaging {
        sender := event.Sender.ID
        if event.Message != nil {
            fmt.Printf("Recieved Text: %s\n", event.Message.Text)
            err := fb.SendTextMessage(sender, event.Message.Text)
            if err != nil {
                fmt.Printf("Something wrong: %s\n", err.Error())
            }
        }
    }

}

func main() {
    debug = true
    fb = &fbmsg.FacebookMessenger{
        Token: os.Getenv("FB_TOKEN"),
    }

    http.HandleFunc("/fbbot/callback", callbackHandler)

    port := os.Getenv("PORT")
    addr := fmt.Sprintf(":%s", port)
    http.ListenAndServe(addr, nil)
}

GoのLINE BOT APIライブラリを作った

先日、LINE BOT API公開されたので、この波に乗らねば、というわけでいろいろ遊んでいます。最近はGoが手に馴染んでいるのでGoでbotを書いているのですが、皆さんもご存知の通り、JSONAPIをGoで扱うのはなかなか辛いものがあるので、ライブラリにしてみました。

github.com

こんな感じでecho botを書けます。まだテキスト部分しか実装してないので、これから画像などは実装していきます。 herokuで動かすことを想定していますので、お試しの際はLINE BOT をとりあえずタダで Heroku で動かす - Qiitaあたりを参考にデプロイしてみてください。

LINE BOT APIのアカウントの取得方法やcallbackが来ない!といったトラブルシュートは他にもいろいろ情報あがってますので、そちらでどうぞ。

package main

import (
    "fmt"
    "log"
    "net/http"
    "os"

    line "github.com/stanaka/line-bot-api"
)

func main() {
    http.HandleFunc("/callback", handler)
    port := os.Getenv("PORT")
    if port == "" {
        port = "8080"
    }
    addr := fmt.Sprintf(":%s", port)
    http.ListenAndServe(addr, nil)
}

func handler(w http.ResponseWriter, r *http.Request) {
    api := line.New(
        os.Getenv("LINE_CHANNEL_ID"),
        os.Getenv("LINE_CHANNEL_SECRET"),
        os.Getenv("LINE_MID"),
    )
    err := api.SetProxy(os.Getenv("PROXY_URL"))
    if err != nil {
        log.Println(err)
    }
    msg, err := api.DecodeMessage(r.Body)
    if err != nil {
        log.Println(err)
    }
    for _, result := range msg.Results {
        from := result.Content.From
        text := result.Content.Text
        err := api.SendMessage([]string{from}, text)
        if err != nil {
            log.Println(err)
        }
    }
    fmt.Fprintf(w, "OK")
}

facebookの13億ユーザーを支えるロードバランサーの話

最近、SREが話題ですね。

tech.mercari.com www.wantedly.com

ということでSREについて調べてたら、SREconなんてものが開催されていたので中を見てたら、「Building a Billion User Load Balancer」というタイトルでFacebookDNS〜LBまでの話があったので、そのメモです。

Building a Billion User Load Balancer | USENIX

tl;dr

  • tinydns + IPVS で Facebook規模はいける
  • httpsの接続確立はかなり重い(RTTの4倍 = RTT 150msとするとGETまで600ms)ので、太平洋越えとかは厳しい
  • httpsを終端させるCDNとかは活用の可能性ありそう (国内だけを考慮するなら影響は軽微かも)

メモ

  • L4 LB
    • shiv (IPVS + python-wrapper) を利用 (OSSにはなっていなさそう?)
    • IPIPカプセリングしてDSR(Direct Server Return)
  • L7 LB
  • ルータ 〜 L4 LB
    • BGPによるECMP Hash
  • L4 LB 〜 L7 LB
    • Consistent hashingで行なっている
  • DNS(tinydns)でロードバランシング
    • DCはUS 4ヶ所、EUに1ヶ所
  • POPを世界中にもっている
    • POPにはL4 LBとL7 LBを配置している
    • https接続は重いのでできるだけ近くで終端する必要がある
      • httpはtcpの3way + httpの1往復
      • httpsだとそこにtlsの2往復が加わってさらに厳しくなる
  • POP内のL7 LBから(別DC上の)アプリケーションサーバーへのhttpsは事前に張っておく
  • 5分に一度DNSマッピングを生成
# dig facebook.com
...
;; ANSWER SECTION:
facebook.com.       113 IN  A   173.252.120.68
...

SORACOM Airを使ってみた #soracom

本日発表されたSORACOM AirのSIMを事前に使わせていただけたのでトライしてみました。 サービスの詳細はTechCrunchの記事が詳しいので、そちらを参照してください。

jp.techcrunch.com

blog.soracom.jp

SORACOM Airの最大の特徴は、定額な基本料金(10円/日)と完全従量制による価格体系で、通信帯域を動的にAPIで変更できることです。 また容量は事前申請ではなく、AWSのように使った分だけの事後清算ですので、 うまい使い方をすればするほど安くなる特徴があります。

SIMはSORACOMの管理画面もしくはAmazonから買えます。 (初日から買えるのはすばらしい)

SORACOM Air SIMカード(データ通信のみ) (ナノ)

SORACOM Air SIMカード(データ通信のみ) (ナノ)

SORACOM AirDocomoのMVNOですのでSIMはDocomoのものと同様です。

f:id:stanaka:20150930122256j:plain

SIMを挿入して、さらっとAPNを設定します。

f:id:stanaka:20150930134634p:plain:w240

このSIMをアクティベートするとこんな管理画面が出てきます。

f:id:stanaka:20150930122228p:plain

ここの「Speed class」で速度をいつでも変更できます。これは新しい体験ですね!

SORACOMの価格体系

SORACOM Airの価格体系で一番安いs1.minimumは32kbpsで1MBあたり、上りが0.2円、下りが0.6円です。深夜時間帯料金も設定されていて、AM2-6は下りも0.2円とさらに安くなっています。

例えば、温度湿度センサーのデータ(1回1KBと仮定)を毎分SORACOM Air経由で送るとすると、データ量は

{1024 (Bytes) \times 43200 (回) \approx 44.19 MB}

ですので、

{44.19 (MB) \times 0.2 (円/MB) \approx 8.44 円}

となります。実際には深夜時間帯価格がありますので、さらにお安くなります。 基本料金と合わせて、月額309円(1ヶ月30日の場合)で3G通信を利用したセンサー環境を構築できます!

もうすこし早いs1.standardの512kbps(上り0.24円/MB 下り0.8円/MB)を利用したとしても従量部分は10.13円となりますので、 それほど変わらずに構築できます。 また1分間隔ではなく、10秒間隔としても従量部分が約50.63円で計351円と、従来の格安SIMと比べても十分お安いですね。

もっとも普通のスマホに差して、1GB, 2GBと使うとそれなりの価格になってきます。 たとえば、2Mbpsのs1.fastで下り1GB使うと従量部分が1024円になり、さらにそれ以上使う可能性があるのであれば、他の格安SIMのほうが安いケースが多そうです。 ちなみにスマホで使う場合、s1.minimum(32kbps)はさすがに遅いので、s1.standard(512kbps)は必要でしょう。

Raspberry Piで使いたい!

これを個人で遊ぼうとすると、Raspberry Piに3Gモジュールを差して、という話が多そうです。 こちらはまだ試せていないので、早めに試してみたいと思っています。 ただ、いまの3Gモジュールは小ロットではけっこう高く( 3GPI(Raspberry Pi 向け3G通信モジュール) だと1個購入時 29,800円)て、 これにさらにいろいろ加えて一通りの機能を持ったものを作ろうとするとそれなりの値段になってしまいます。

ASUS Zonefone2はあれだけの機能が詰まっていて 24,835円 (参考 expansys) なので、3Gモジュール部分がこれからどんどん値が下っていって例えば10,000円を切るところまでいってくれると、個人や、小ロットのビジネスでも手が出しやすくなるので、期待したいです。

SORACOMの中身

先日、中身の話を聞く機会があったのですが、TechCrunchの記事にもあるように、従来は専用ハードウェアだった内部システムは全てAWS上にソフトウェアで構築されているそうです。 従来はハードウェアが必要だったところをソフトウェアのみで実装することでイノベーションを起こす、という流れでしょう。 CTOの安川さんに聞いたところ、ソフトウェア自体は3GPPの仕様は公開されているので、作ること自体はすごく難しくはないですよ、とのことでした。このあたりを頑張ると自分でもDocomoとの接続まで含めてできそうですね!

ascii.jp

またデータストアはDynamoを駆使し、通信のコア部分はCで書いている、とのことです (安川さんの出身からErlangが期待されるのですが(笑))。 AWS出身のエンジニアが多いのでAWSを使い方についても気になるところです。 DynamoDBもたまに障害を起こすので、そのような場合に備えてAWSの裏表を知りつくしたエンジニアがどのような設計をしているか是非知りたいですね!

さいごに

今日からいろいろブログエントリもあがってきますので、いろいろな使い方が広がっていくことを楽しみにしています!

blog.soracom.jp

追記(9/30)

温度湿度センサーによるデータ通信費の試算が上りの料金を使うべきところを下りの料金を使っていましたので、正しく上りの料金を使うように修正しています。

Docker Meetup Tokyo #3 を開催しました

7/4にDocker Meetup Tokyo #3を開催したので、その報告です。今回は日経さんに会場を提供していただいたのですが、非常に良い会場でありがとうございました! また動画配信にご協力いただいた@cojiさんもありがとうございました!

(@peryaudoさんのDockerレイトレデモでのmobydockモデルより)

今回のmeetupは、6月上旬にDockerConが開催されDocker 1.0を始めとする様々なプロダクトが発表されたことを受け、この波を活かすために#3として開催しました。 冒頭に会場でDockerの利用状況を挙手で聞いてみたのですが、触っている人 7割、開発サーバーやテストサーバーで使っている人 3割、プロダクションで使っている人 4,5名(数台規模)という現状で、まだまだ本格的な展開はまだまだこれから、ということが分かりました。

ただ、コンテナ管理ツールへの各社からの積極的なサポートも発表(Microsoft、Red Hat、IBM等がGoogleのDockerコンテナ管理ツール、Kubernetesサポートで団結)されていますし、急速に周辺環境は整いつつあります。おそらく来年の今ごろにはプロダクション環境で使っている人も珍しくはなくなるんじゃないでしょうか。

Meetupも第4回、第5回と続けて、いろいろな知見を共有できればと思っていますので、ネタを仕込んでいる方々は是非お知らせください。(@yuguiさんも次回こそ是非お願いしたいです!)

今回のトーク&LTの一覧です。空いているところは資料がアップされ次第埋めていきます。

トーク(20〜30分)

Orchestration Tools @philwhlnさん

Monitoring Docker with Mackerel @stanaka

Dive into Docker @mainyaaさん

flynnの時代 @deeeetさん

LT(5分)

How to Impl lib swarm backend @mopemopeさん

Docker+CoreOS+GCEで自動スケール分散レイトレ @peryaudoさん

Porting Docker to FreeBSD @kzysさん

perfomance Evaluation of Docker @nasunomさん

Docker-flow@Gnossy @y_matsuwitterさん

まとめ

イベントの概要は既にQiitaなどにまとめてくれていただいていますので、こちらも合わせて参照ください。

では、また次のmeetupで会いましょう!!

JAWS DAYS 2014 Immutable Infrastructure パネルディスカッション

JAWS DAYS 2014のImmutable Infrastructure パネルディスカッションでモデレーターをしましたのでそのまとめです。満員でしたので、ご覧になった方々にはありがとうございました!

f:id:stanaka:20140315215045j:plain

事前に勉強も兼ねて、次のメモを書いておいた( https://gist.github.com/stanaka/9547623 )のですが、このパネルでは個人的にも議論してみたかった話も含め、6名のパネリストに以下の質問をさせてもらいました。

  • IIを突き詰めていくと、どんどんPaaSに近づいているのでは?
  • IIを実現する上で、なにが一番の課題となるか?
  • Statefulサーバーはどのように扱うべきか
  • 最後に一言

冒頭の最初のIIを突き詰めるとPaaSになっていくのでは?という話では「技術的にどんどん新しいハード、ツールは出てくるので、ニーズはPaaSとIaaSの間を揺れ動くことになると思う」(@mirakuiさん) 「エンタープライズなど、PaaSではカバーできない要件のシステムは相当な規模が残る。エンタープライズな人は」(@naoya_itoさん) 「DevOpsからNoOpsになっていくという話もある」(@sawanobolyさん)という話がありました。IaaSからPaaSと抽象度が高くなるにつれ、サービス仕様が汎用的になり、新技術の導入スピードも必然的に落ちていくので、ニーズが揺れ動くという話や、エンタープライズで難しい領域は残る、という話は説得力がありました。

IIを実現するところでの課題でもいろいろな意見があり、「そもそも継続テストしようとか先にやるべきことがまだまだあるところが多い」(@ryuzeeさん)や「IIという概念があることで、どういう方向を向いてコードを書けばよいかが分かる。そうすれば将来IIにする時もスムーズにいける」(@kentaroさん)というII導入以前の状態の観点からの意見が多くありました。また「ツールの成熟や事例を積んでいく必要がある」(話者は失念..)という意見もあり、具体化するにはまだまだ課題が多いですね。

また皆さんStatefulのところは、(私も含め)まだまだ良い手はないようですが、「アプリケーション側がIIのスタイルになっていくことで、データベースも(開発用に)ブランチが簡単に切れたりなると面白い」(@naoya_itoさん)というアイデアはなかなか魅力的でした。データベース側はなかなか制約が大きく重いので、簡単な解決策は難しいですが、徐々に新しい手段が導入できるようになると面白そうです。

最後の一言では、@kentaroさんの「Immutable Infrastructureは、日本伝統の伊勢神宮式年遷宮と同じですので、いわば式年遷宮アーキテクチャです」に全部もっていかれました。

Immutable Infrastructureはこれまで一部では既に行なわれていたことに名前がついて一気にメジャーになった技術的概念の典型だと思います。概念についてはもう相当に話してお腹一杯なので、次は具体的なツールの詳細の話や、実際に実践した際の課題やノウハウについて、掘り下げていきたいですね。

というわけで、ちょうど今月末の3/25夜にImmutable Infrastructure ConferenceをヒカリエでDeNAさんの会場を借りて開催します。もう満員なのですが、Ustreamも予定していますので、こちらも是非チェックしてください!