読者です 読者をやめる 読者になる 読者になる

@lestrrat 氏に Kubernetes を教えてもらいました

@ymmt2005 こと山本です。SRE とかやってます。 サイボウズでは「Neco」という、クラウド基盤のアーキテクチャを刷新するプロジェクトを進めているのですが、今回は @lestrrat こと牧大輔さんをお招きして Kubernetes の導入を検討しはじめた話です。 当日の…

サイボウズではミドルウェアエンジニアも活躍しています

こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 先日、エンタープライズジン様の記事で、弊社の名前が挙がっていました。 井上 まあ、ミドルウェアに詳しい人間もいないと。ミドルウェアだけじゃないですけど、やっぱりアプリケーション…

SRE チームを設立します

運用本部長を務めている山本泰宇です。 運用本部は社内の情報システムを担当する情報システム部と cybozu.com など自社クラウドサービスを運用するサービス運用部からなる部門です。 本日、サービス運用部にて SRE チームを設立しました。この記事ではチーム…

社内利用のための deb パッケージング入門

こんにちは。@nojima です。 最近、社内のアーティファクトの deb 化を推進しています。 Building Microservices でも紹介されているように、deb は apt-get install でインストールできたり、依存関係を自動で管理できたりするため、単純な tar.gz を使うよ…

nginx ちょっと不思議だったリクエストリトライのお話

こんにちは、Sustain チームの山口です。 今サイボウズリモートサービスというVPN・中継サービスで使用する L7LB を nginx に移行しようといろいろ調査をしています。 nginx をリバースプロキシとして使用する際に少々障害となる動作があり、それに関するア…

NAT をやめて、透過 SOCKS プロキシを導入した

以下の記事内容について、奥一穂氏(@kazuho)より、「connectのエラーコードが信頼できなくなるといった欠点もあるのに透過 SOCKS プロキシが汎用的に良いように読めてしまう」というご指摘をいただきました。確かに、下記内容は当社が抱えていた複数の課題…

ブロックデバイスのクラッシュ模擬ツールcrashblk の紹介

こんにちは、サイボウズ・ラボの星野です。 先日の記事(半年かかったバグ調査の顛末は)では、長期間苦労した不具合調査についてあっさりとまとめて頂いたので、その行間に起きたたくさんのことを思い起こし、ひとり感慨にふけっています。 (私も記事原稿をレ…

半年かかったバグ調査の顛末は

サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。

インフラ系インターンをやってみました

皆さんこんにちは。Hazama チームの内田(@uchan_nos)です。 かなり前の話になってしまいますが、サイボウズでは 8/17 から 1 週間、開発系のインターンシッププログラムを実施しました。 アプリ開発や品質保証のコースに加えて インフラコース があったの…

TCPとタイムアウトと私

本部長や副本部長もプログラミングを(たまに)することで有名なサイボウズの運用本部長、山本泰宇です。 有名じゃないかもしれませんが、ブログに書いたので有名になるということでご了承ください。 今回は、先日発生した yrmcds に起因する障害の原因と対…

nginx の設定をレビューするときの観点をまとめてみた

こんにちは。 インフラチームの野島(@nojima)です。 チームのメンバーに nginx の設定について気をつけるべき点を共有するために、レビュー観点を書きました。 せっかくなのでここで公開します。 ほとんどの項目は自分やチームのメンバーの実体験に基いて…

conntrack がロードされたサーバで LVS-DR を構成する場合の注意点

こんにちは。インフラ開発チームの深谷です。 Linux の conntrack モジュールがロードされたサーバーで、レイヤー4 (L4) ロードバランサを LVS-DR で構成したところ、 パケットフィルタが正常に働かず、通信はできるものの、一部のパケットは落ちるという挙…

Etsyを支えるパフォーマンスアラートの技術 ~Velocity Conference 2015レポート #1~

こんにちは!kintone 開発チームの田中裕一(@yuichielectric)です。 O'Reilly Mediaがサンタクララで開催したVelocity Conference 2015に僕と佐藤鉄平(@teppeis)の2人で参加してきました。これから何回かに分けてそれぞれが面白いと思ったセッションの内容を…

yrmcds 1.1.1 + libyrmcds 1.2.0 をリリースしました

最近はもっぱらオフィスの引っ越し作業で忙しくている山本泰宇です。 ブログを書くのも久しぶりなら、yrmcds についてお知らせするのも1年ぶりになってしまいました。 ご存じない or 忘れた方も多いと思いますので改めて紹介すると、yrmcds はサイボウズで…

nginx の拡張モジュールを書いて DoS 対策をした

こんにちは。インフラチームの野島です。 最近、cybozu.com はロードバランサを Apache から nginx に置き換えました。 (参考: cybozu.com のリバースプロキシを nginx にリプレイス) 置き換えの一環として、Apache に実装していた DoS 対策の仕組みを nginx…

cybozu.com のリバースプロキシを nginx にリプレイス

こんにちは。インフラチーム Hazama の深谷です。 デブサミ 2015 で、cybozu.com の自社製リバースプロキシを全面的に再実装した話をしてきました。 今回は、そちらの資料を紹介いたします。 cybozu.com ではお客様ごとに異なるサブドメイン(ex. demo.cyboz…

ggplot2でWebサーバのレスポンスタイムをざっくり可視化する方法

ドーモ、親愛なる読者のみなさん。うんようチームです。 というアイサツをしたいがために、ブログ書きます!と名乗り出てしまった運用本部の湯谷(@yutannihilation)です。今回は、R Advent Calendar 2014 9日目の記事として、Webサーバのレスポンスタイム…

MySQL 5.6 で loss-less semi-sync レプリケーション

こんにちは。運用本部 Hazama チームの深谷です。 今回は MySQL 5.6 で loss-less semi-sync レプリケーションを実現するパッチについて紹介します。

cybozu.com のラック設計

こんにちは。運用本部の大野です。 今回はいつもと趣向が異なる物理インフラのお話。弊社 cybozu.com を運用するデータセンターで行った、ラック設計について一部紹介したいと思います。

yrmcds 1.0.0 をリリースしました

@ymmt2005 こと山本泰宇です。去る 7 月に yrmcds という memcached 互換な KVS を公開したことをご案内しました。それから 5 ヶ月経ちましたが、今回は安定版となるバージョン 1.0.0 をリリースをご案内します。 ダウンロードはこちらからどうぞ: https://g…

Security Challenge の攻撃者をリアルタイム監視してみた

こんにちは、Hazama チームの萩原(@hagifoo)です。 cybozu.com Security Challenge へのご協力ありがとうございました。おかげさまで cybozu.com 及び kintone はより安心して使っていただけるサービスになりました。 当然、期間中は攻撃者のみなさまにより…

完璧な監視システムの作り方 in cybozu.com

こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳…

自動障害回復システム 月読の話

@ymmt2005 こと山本泰宇です。短い夏休みから帰ってきました。 今回は cybozu.com のデータセンターで運用を開始した自動障害回復システム「月読」を紹介します。障害にも色々ありますが、今回紹介するのは仮想マシンのホストサーバーの物理障害を検出して、…

データセンター移転とDRBD

@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を…

yrmcds 0.9.0 リリース

@ymmt2005 こと山本泰宇です。 今回は memcached 互換で冗長構成を簡単に組める自社製 KVS である yrmcds のリリースをご案内します。 ... この Redis 全盛なご時世になんで?とか、repcached や Kyoto Tycoon があるじゃない、といったツッコミの嵐が聞えて…

WalB v1.0 リリース

こんにちは.サイボウズ・ラボの星野です. 今日は,効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と,そのバージョン 1.0 のリリース告知をさせて頂きます.

Ubuntu 12.04 への移行資料

日頃の作業はもっぱら Ubuntu 上で行っている山本泰宇です。 ご存知の方も多いと思いますが、Ubuntu は Canonical Ltd. で開発されている Linux ディストリビューションです。Debian Gnu/Linux をベースにしていますが、必ず2年に一度の長期サポート版(LTS…