はらへり日記

腹に弾丸

ISUCON7に出た #isucon

ISUCON7に参加しました

今年は前職の先輩と現職の先輩と組んで参加しました。

isucon.net

結果

f:id:sota1235:20171023011636p:plain

予選突破の20万台には遠く及ばず…

点数のブレが大きすぎてどの対策が効いたか全然わからなかったけど時系列でやったこととかやりたかったけど諦めたことをメモる。

タイムライン

私の担当はアプリケーションだった。

  • INDEX追加
    • (user.name)
    • (message.id, message.channel_id)
    • (haveread.user_id, haveread.channel_id)
  • SELECT *の撲滅
  • get_channel_list_infoの置き換え
    • 最終的に一箇所しか残らなかった
  • DBアクセスする前に結果返せるところは返す
    • DBアクセスした後にリクエストパラメータの有無チェックしてるようなロジックがちょいちょいあった
  • COUNT(*)COUNT(1)
  • チャンネルごとのメッセージ数カウントを専用テーブル用意して置き換え
    • 毎回COUNTせずにSELECTするだけでよくなった
    • 最初の段階で2番めに遅いクエリだったので手をつけた
  • php-fpmのチューニング
    • TCPやめてunix socketにしたり
    • 子プロセスを増やしたり
  • 使わないPHP extensionの削除
    • xdebug.so, お前のことやで
  • N+1をいくつか潰す

他のお二人には

とか諸々やってもらった。感謝…

やりたかったけどできなかった

  • /register, /loginページを静的コンテンツに
    • ロジック見ると分かるけどこの2つはPHPに捌かせる必要がない
    • HTMLの配置は一瞬だったけど優先度低かったので後回しにしたのと、nginxの設定でハマってやれなかった
  • キャッシュミドルウェアの追加
    • ログイン判定の度にselect * from userしてるのとか
    • 今回は削除更新が無かったので整合性の担保も難しくなかったはず…
  • メッセージ取得ロジック改善
  • 未読数カウントロジック修正
  • LIMIT, OFFSET殺す
  • php-fpmのさらなる調整
    • 時間無くてかなり雑に調整した
  • PHPMySQLのコネクション最適化

他にも色々アイディアはあって

  • DBサーバにもアプリを立てる
  • キャッシュ用サーバとアプリを分ける

なんて案もあったけどとにもかくにもボトルネック/iconsから他に移らなくて死んだ。

所感

とにもかくにも/iconsのリクエストを捌けて無くてしんどかった。

一番最初はDBが完全にサチっててその壁は一瞬で越えられたけどその後すぐに画像が死んでることが分かってなるほどという感じだった。

画像の脱DB化をしてもそこまでスループットが上がらず、なかなか苦しかった。

今回はそこを抜けたチームが10万の壁を越えていったのではという推測。

スギャブロエックスチームと同じ会場で解いてたので効いたところCache-Controlヘッダあたりをいじって2回目以降リクエストさせないようにしてたらしい。ぐぬぬ

一昨年、昨年参加して今年3回目だけど計測してボトルネック特定して確実に芽をつぶしていく力はついていると感じてて、それゆえに結構悔しい。

あとはぱっと直したコードにバグがあることが多くて結構時間を取られた。

今回はほぼ何も準備できなかったけど来年は手元で簡単にアプリが動かせるような環境を作る秘伝のタレを用意してそこでデバッグしたい。

とにかくですね

来年こそ100万円使って温泉行きたいです。

PHPカンファレンス2017に登壇しました #phpcon2017

資料はこちら

雑感

  • 初めて技術シェアというよりも体験シェア系の発表をした
    • スライドづくりがかなり難航した
    • それなりにストーリーを保てた発表ではなかったんじゃなかろうか
  • アーキテクチャ図を書くのが難しい…
    • みんなどんなものを使ってるのか知りたい
  • Cloud Firestoreによるスライド修正がちょっと大変だった
    • まだβではあるがRealtime Databaseの問題をいくつか解決してるので非常に楽しみ

最後に

次は東京Node学園2017に登壇する予定です。

JavaScript系で大きなカンファレンスは初めてなので頑張るぞ〜〜〜

PHPUnitで例外を投げた後の処理をテストする

例えばこんなクラスコードがあるとする。

<?php

namespace App;

use Psr\Log\LoggerInterface;
use App\Util\DB;
use App\Exception\DbException;

class BlogService
{
    /** @var DB */
    protected $db;

    /** @var LoggerInterface */
    protected $logger;

    public function __construct(DB $db, LoggerInterface $logger)
    {
        $this->db = $db;
        $this->logger = $logger;
    }

    public function createNewPost(int $userId, string $title)
    {
        $this->db->begin();

        try {
            $postRow = $this->db->insert('posts', [
                'title' => $title,
            ]);

            $this->db->insert('post_user_relations', [
                'user_id' => $userId,
                'post_id' => $row['post_id'],
            ]);

            $this->db->commit();
        } catch (DbException $e) {
            $this->logger->warning($e->getMessage());
            $this->db->rollback();

            throw $e;
        }

        return $postRow['post_id'];
    }
}

ブログを投稿する簡単なクラス。

INSERT文を2つ発行するのでトランザクションを貼って、もしデータベース例外が発生したらloggingした上で例外を投げ直すというよくあるコード。

これに対してテストコードをPHPUnitで書いてみる。

テスト方針

スタンダードに以下のようなテストケースを書いてみる。

  • INSERT処理が2回とも通り、期待する結果を返せばpost IDを返す
  • INSERTがどちらかコケたらログを取った上で例外を投げる

上記のクラスはきれいにDIパターンで実装されているのでいずれのテストもモックを注入し、振る舞いを指定することでロジックの保証をするテストが書ける。

後者のテストを実装するならこんな感じ。

<?php

namespace App;

use Mockery as m;
use Psr\Log\LoggerInterface;
use App\Util\DB;
use App\Exception\DbException;

class BlogServiceTest
{
    /** @var DB */
    protected $db;

    /** @var LoggerInterface */
    protected $logger;

    public function setUp()
    {
        $this->db = m::mock(DB::class);
        $this->logger = m::mock(LoggerInterface::class);
    }

    /**
     * @expectedException DbException
     */
    public function testCreateNewPostSholdThrowExceptionWithLogging()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());
        $this->db->shouldReceive('rollback')->once(); // Rollbackすることをテスト
        $this->logger->shouldReceive('warning')->once(); // Loggingすることをテスト

        $SUT = new BlogService($this->db, $this->logger);

        $SUT->createNewPost(1235, 'title');
    }
}

色々はしょってるけどだいたいこんな感じになると思う。

ただ、現実のサービスはこんな単純な仕様であることはほぼない。

例えばここに追加仕様で「例外を投げたらloggingし、rollbackし、エラーをテキストファイルに吐き出すようにする」みたいなものが来たとする。(いい例えが思いつかなかっただけで、現実的にはもっと別のケースがあるでしょう)

こんなコード。

<?php

    /** ~ */

    public function createNewPost(int $userId, string $title)
    {
        $this->db->begin();

        try {
            $postRow = $this->db->insert('posts', [
                'title' => $title,
            ]);

            $this->db->insert('post_user_relations', [
                'user_id' => $userId,
                'post_id' => $row['post_id'],
            ]);

            $this->db->commit();
        } catch (DbException $e) {
            $this->logger->warning($e->getMessage());
            $this->db->rollback();
            // ここが追加
            file_put_contents('path/to/file.txt', json_encode($e));

            throw $e;
        }

        return $postRow['post_id'];
    }

これに対して先程のテストコードだと「エラーをテキストファイルに吐き出す」ことの確認ができない。

しかしファイル書き込みロジックは外部注入していないのでモックすることもできない。

そこでこんなテストを書いてみるとする。

<?php

namespace App;

use Mockery as m;
use Psr\Log\LoggerInterface;
use App\Util\DB;
use App\Exception\DbException;

class BlogServiceTest
{
    /** @var DB */
    protected $db;

    /** @var LoggerInterface */
    protected $logger;

    public function setUp()
    {
        $this->db = m::mock(DB::class);
        $this->logger = m::mock(LoggerInterface::class);
    }

    public function testCreateNewPostSholdThrowExceptionWithLogging()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());
        $this->db->shouldReceive('rollback')->once(); // Rollbackすることをテスト
        $this->logger->shouldReceive('warning')->once(); // Loggingすることをテスト

        $SUT = new BlogService($this->db, $this->logger);

        // 例外投げられるとチェックできないからcatchする
        try {
            $SUT->createNewPost(1235, 'title');
        } catch (DbException $e) {
            $this->assertTrue(file_exists('path/to/file.txt'));
            return;
        }
   
        $this->fail();
    }
}

例外を投げられた後だとプログラムが続行できないので例外をcatchしてassertionする。

また、例外をcatchできなかったらテストをコケるようにして例外を投げることを保証する。

これで一件落着、と思いきやこの書き方には2つ問題がある。

  • テストの書き方によってはスタックトレースが表示されず何がなんだか分からない
  • テストの中にロジックが混ざって可読性が下がる

前者に関しては以下のようなテストの書き方をしてると起きる。

<?php

// 例外投げられるとチェックできないからcatchする
try {
    $SUT->createNewPost(1235, 'title');
} catch (\Exception $e) {
    $this->assertInstanceOf(DbException::class, $e);
    $this->assertTrue(file_exists('path/to/file.txt'));
    return;
}

こんな書き方しなきゃいいじゃんって話なんだけど、時たまやるしテストやロジックが複雑化していけばなおさら起きる。

とはいえこういうことは往々にして起きるのでもう少し違うアプローチを考えることにした。

テストを分ける

シンプルにテストを分けてコケたときのエラートラッキングを分けるようにする。

具体的には「意図した例外が投げられること」と「例外が投げられた後の状態が望みどおりであること」の2ケースに分ける。

イメージ的にはこんな感じ。

<?php

namespace App;

use Mockery as m;
use Psr\Log\LoggerInterface;
use App\Util\DB;
use App\Exception\DbException;

class BlogServiceTest
{
    /** @var DB */
    protected $db;

    /** @var LoggerInterface */
    protected $logger;

    public function setUp()
    {
        $this->db = m::mock(DB::class);
        $this->logger = m::mock(LoggerInterface::class);
    }

    /**
     * @expectedException DbException
     */
    public function testCreateNewPostSholdThrowExceptionWithLogging()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());
        $this->db->shouldReceive('rollback')->once(); // Rollbackすることをテスト
        $this->logger->shouldReceive('warning')->once(); // Loggingすることをテスト

        $SUT = new BlogService($this->db, $this->logger);

        $SUT->createNewPost(1235, 'title');
    }

    public function testCreateNewPostSholdPutFileAfterThrowException()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());

        $SUT = new BlogService($this->db, $this->logger);

        try {
            $SUT->createNewPost(1235, 'title');
        } catch (DbException $e) {
            // 例外をthrow後の状態をテストする
            $this->assertTrue(file_exists('path/to/file.txt'));
        }
    }
}

こうすることで意図しない例外が発生しても原因の切り分けが多少やりやすくなる。

また、もう少し改善する点としてこの2ケースは前者がコケた時点で後者をテストする必要がない。

そこで@dependsアノテーションを利用して前者がコケたら後者がコケるようにする。

<?php

namespace App;

use Mockery as m;
use Psr\Log\LoggerInterface;
use App\Util\DB;
use App\Exception\DbException;

class BlogServiceTest
{
    /** @var DB */
    protected $db;

    /** @var LoggerInterface */
    protected $logger;

    public function setUp()
    {
        $this->db = m::mock(DB::class);
        $this->logger = m::mock(LoggerInterface::class);
    }

    /**
     * @expectedException DbException
     */
    public function testCreateNewPostSholdThrowExceptionWithLogging()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());
        $this->db->shouldReceive('rollback')->once(); // Rollbackすることをテスト
        $this->logger->shouldReceive('warning')->once(); // Loggingすることをテスト

        $SUT = new BlogService($this->db, $this->logger);

        $SUT->createNewPost(1235, 'title');
    }

    /**
     * @depends testCreateNewPostSholdThrowExceptionWithLogging
     */
    public function testCreateNewPostSholdPutFileAfterThrowException()
    {
        $this->db->shouldReceive('insert')->andThrow(new DbException());

        $SUT = new BlogService($this->db, $this->logger);

        try {
            $SUT->createNewPost(1235, 'title');
        } catch (DbException $e) {
            // 例外をthrow後の状態をテストする
            $this->assertTrue(file_exists('path/to/file.txt'));
        }
    }
}

これで完璧!!

テストを書くのは楽しいね。

PHPカンファレンス福岡2017に登壇しました

行ってきました

総じて最高でした。

トークをしました

JavaScriptの静的型解析ツールであるflowの話をした。

色々反省もありつつも、今年の目標として掲げていたPHPカンファレンストークでの登壇を達成できたこと。

トーク後の質問タイムで発表にお褒めの言葉を頂いたり僕が伝えたかったことが伝わっていることを質問から感じ取れる場面があり素直に嬉しかった。

30分で申し込みましたが結構見積もりが甘くて、実際は伝えたいことのいくつかを削った。

そこらへんの補足や+αの話は会社の技術ブログの方に投稿する予定なので投稿したらここに貼っつけます。

福岡は飯が最高

先日、弊社の福岡オフィスが新設されたのでそこの方との交流を目的に木曜日から福岡入りしていました。

なので観光のため業務の一環でいろんなご飯を食べてた。

これがもれなく美味い。全部美味い。

食べたのは博多ラーメン(2回)、うどん(2回)、魚介丼、ごま鯖、といった感じ。

まぁなにはともあれ私は食レポマンではないので、福岡に足を運ぶことがあればとりあえずここに足を運んで欲しい。

retty.me

retty.me

福岡というと博多ラーメンのイメージがあるが福岡の人に言わせると行列に並んでラーメン食べるならうどんを食えという話があるらしい。

事実、2回食べたうどん屋さんはどちらも美味しかった。

前者は駅から10分もかからないところに。後者はLINEさんが入ってるビルの地下にある。

どちらでもごぼ天肉うどんを食べたが本当に美味しいので福岡に行く人は騙されたと思って食べて欲しい。

参加してみて

当たり前の話だけどやっぱりカンファレンスに来るといろんな刺激がもらえるし、今回は東京から飛び出しての参加だったのでなお刺激的だった。

福岡のエンジニアさんはみんな優しくて、3次会まで飲みに行って色んな話をした。

Twitterでお見かけする人とコミュニケーションが取れたり、逆に「きりんさんですよね」と話しかけられることもあったりして人脈も前よりは広がってきてる感じがする。

今まで頑張ってアウトプットしていたかいもあったしこれからも続けて行きたい。勇気を出してトーク応募してよかった!

次は

トークはだいぶ慣れてきたのでもっと質を上げていくことを目標に頑張りまっす。(あとはPHPの話もしたいですね)

まとめ

福岡のみなさん本当にありがとうございました!また飲みましょう!

flowtypeからweakモードが無くなってた

weakモードとは

flowtypeの説明は割愛します。

知りたい方は福岡PHPカンファレンスに来て私のトークを聞いてください💕

冗談はさておき、ざっくり言うとflowtypeはFacebook製のJavaScript用静的型解析ツールです。

ファイルの頭に// @flowを書き足すことでそのファイルをflowtypeの解析対象とすることができます。

一昔前(と言っても2, 3ヶ月前程度)はこの時に// @flow weakと書くことによりweakモードでの解析が可能でした。

このweakモードは引数や返り値の型宣言が無いことを許容し、PureなJavaScriptを解析することができるものです。

このweakモードが現在は無くなっています。

なぜなくなったのか

詳しい経緯は以下のIssueを読んで下さい。

github.com

噛み砕くと

  • いつの間にか// @flow weakと書いてもweakモードで実行されなくなった
  • Issuer「なんで消えたの?便利だったのに!」
  • Maintainer「確かに一定の場面では便利なんだけどメンテナンスをちゃんとしてないこと、weakモードの時に何をチェックしてるか不明瞭だから無くしたよ」
  • Maintainer「とはいえGitHubで検索してみると4000以上のコードで使われてるし破壊的な変更はなるべくしないよ」

といった感じです。 実際、リリースタグを見るとv0.40.0このリリースではまだweakモードは消さないよと言っています。

で、今はどうなのか

具体的にどのバージョンで変更が加わったのか見つけられなかったのですが(知ってる人いたらこっそり教えてください)、現在はweakモードは存在しません。

当然ドキュメントにも書いてありません。

個人的な意見として、weakモードの嬉しいところは既存のコードを書き換えずにflowtypeの解析の恩恵を受けられる点だと思っていたのでプロダクションコードにflowtypeをねじ込もうとしてた身としては悲しかったのですが、安心してください。

現在は通常のモードでも型の明示的宣言を強いられることはありません。

なので従来通り、既存のコードに導入しやすいというメリットは残っていると思います。

やったぜ。

eslint-plugin-importでNODE_PATHにパスを足したい

NODE_PATHを足す

JavaScriptを書くとき、ディレクトリを掘って階層が深くなったりテストフォルダが別にあるとrequire('../../../../hoge');みたいになってつらい

なのでWebpackで固める場合はconfigで、サーバサイドjsの場合はapp-module-pathを使ってNODE_PATHを足している。

node_modules配下のフォルダ名を上書きしてしまう恐れもあるがまさかlodashなんて名前でフォルダは作らないだろうし今のところそういう意味で困ったことは無かった。

が、eslint-config-airbnbを利用した際、それに含まれるeslint-plugin-importを使う時にパスを上手く解釈してくれなくて詰みかけた。

その時のエラーはこんな感じ。

直し方

Pathを足すための設定が公式で用意されてた。

github.com

例えばsrc/をNODE_PATHに足しているなら.eslintrcにこう書く

{
  "settings": {
    "import/resolver": {
      "node": {
        "paths": ["src"]
      }
    }
  }
}

これで例えばsrc/hoge.jsrequire('hoge')していてもESLintがきちんと解釈してくれるようになる。

メルカリに入社して1ヶ月経った

1ヶ月過ごしてみて。ポエムです悪しからず。

楽しい

結論から言うと毎日楽しいです。

社内の雰囲気や制度については事前に社員さんとお話させてもらったり、mercanを読んで知ってたんだけど、入る前の想像とのギャップはほぼ感じずに過ごしてる。

強いて言うならコードベースはレガシーとまでは行かなくとも、死ぬほどキレイというわけではないなぁという気持ちはあるけどhirakuさんがmercari dayで発表していたようにプロダクトファーストの現れだと思うと全然違和感はない。

というよりむしろこれだけのスピードでやってきたらもっと崩壊しててもいいのでは?と思うくらいには普通に触れる。楽しい。

緊張感の所在の変化

転職して一番変わったのは自分がプレッシャーを感じるポイントかなと思っている。

メルカリの組織の回し方は"性善説"の一言に尽きていて、稟議や管理という概念がほとんどない(今のところ僕は出会ってない)。

そうすると何が起きるかって言うと、プロダクトをよくするために開発に集中するときの障害が一切なくなる。

会議も無いし説得も無いし細かい進捗管理もない。

これって一見、楽に見えるんだけど実際やってみるとプレッシャーがすごい。

一人のエンジニアとして完全に信頼されているからこの働き方をしていると思うと指示待ち人間に成り下がるのは論外だし、いかに短い時間の中で成果を出すのかを考えるようになる。ひたすら考える。

そしてそれがまだまだできていないなぁと焦る。

私は甘やかされると無限に甘える人間なので今のこの環境は本当に合っていて、毎日学びも多いしひとまず1人前になるために必死です。

スピード感がすごい

会社全体の流れを週一で共有する場があるんだけど、他のチームやUS, UKの動きを見てるとスピードがすごい。

し、現場のスピードもすごい。確か入社4日目くらいで自分の開発分をリリースできるぐらいには走る環境が整ってる。

そして入社してまだ1ヶ月なのにアメリカ出張に行くなど、ここらへんもすごい。

出張が決まったのは出張2週間前くらいで急いでパスポート取ったりした。

なんだかんだ、会社の規模は300人を越えているので多少はもたもたする部分もあるだろうと思ってたけど今のところ全く感じないし、なんというか社員がみんな優秀がゆえに成り立っているんだなとしみじみ感じる。

まとめ

おすすめのアメリカ観光地教えてください。サンフランシスコから2時間以内に行ける場所で。