フロムスクラッチ開発者ブログ

from scratch Engineers' Blog

【開催レポ】b→tech Lab. #1 - 詳説ビッグデータアーキテクチャ -

こんにちは!
フロムスクラッチ新卒エンジニアのおんじです。

昨日9/19(水)、弊社主催のエンジニアイベント b→tech Lab.の第1回を開催しました。
今回のブログでは、その様子をお伝えします!

b→tech Lab.は、ビッグデータをメインストリームとするエンジニアが、独自の取り組み事例やナレッジ・ノウハウを共有する、双方向型コミュニティです。
fromscratch.connpass.com
第一回の今回は、詳説ビッグデータアーキテクチャと題して、
ビッグデータを扱う上で避けられない3つの課題について、一部(LT)と二部(Discussion)の二段階構成で、お話しました。

f:id:kota-onji:20180920120834p:plain


【第一部 Lightning Talk】

第一部は、先程お話した3つの課題それぞれについて、フロムスクラッチが取り組んできた内容を、LT形式でお伝えしました!

「おれのセグメントがこんなに早い訳がない」by 開発チームmgr 原口

1人目は、弊社開発マネージャーの原口が、「パフォーマンスに関するアプローチ」として、セグメント集計のhive処理を高速化するために行ったことhttps://www.slideshare.net/secret/uUU3BgNJaLGSE0、について講演しました。
f:id:kota-onji:20180920201449p:plain
f:id:kota-onji:20180920195810p:plain
集計時間を約3分の1に削減させるために何が重要だったのか、そのエッセンスが詰まった内容になったかと思います!

「b→dashを支える監視システム」by インフラチーム髙須

2人目は、「運用に関するアプローチ」として、弊社2年目でインフラエンジニアの髙須がb→dashの監視システムについて。
https://www.slideshare.net/secret/D1qWqgHfMmWmYm

f:id:kota-onji:20180920200615p:plain
f:id:kota-onji:20180920195258p:plain
1000を超えるサーバ上で稼働しているb→dashのシステムの安定稼働はいかに実現されているのか、実際に導入しているツールの話を交えながらお話しました!

「大規模分散処理を扱うためのクラスタ管理システム」by CTO井戸端

3人目は、弊社CTOの井戸端から、「コスト削減へのアプローチ」として、弊社の分散処理を支えるクラスタ管理システム(通称:Resource Manager)
https://www.slideshare.net/secret/b9RJgRBkClJB73についてお話しました。
f:id:kota-onji:20180920195621p:plain
f:id:kota-onji:20180920200045p:plainf:id:kota-onji:20180920200751p:plain
こちらは、AWS Summit TokyoのStartup Architecture of the year 2018で最優秀賞を受賞したコンテンツということもあり、特にご盛況頂きました!

【第二部 Discussion】

続く第二部では、「パフォーマンス」「運用」「コスト」のテーマごとにテーブルを分けて、軽食を交えた座談会を行いました!
Discussionの時間では、LTの内容に関する質問や、b→dashで使われている他の技術の話もあれば、おぎやはぎのプロモーションに関する裏話など、より深堀ったお話をお楽しみ頂けたかと思います!

おわりに

イベント終了後のアンケートでも「内情を隠さずさらけ出してくれていて、大変満足のいくコンテンツだった。」「内容が良かった。知人にも紹介したい。」とのお声を頂き、
b→tech Lab.初回はなんとか成功と言えるのでは無いかと思っています。

また、第二回b→tech Lab.の開催は11月中旬を予定しております。
今後のb→tech Lab.では、「前処理」「分析基盤」「レコメンデーション」等を扱っていくことを予定しており、また、外部の方のLTや一般公募でのLTも予定しております!

今後のb→tech Lab.に関するご案内は、connpassのフロムスクラッチのイベントページから周知致しますので、こちらのメンバー登録も宜しくお願い致します!
fromscratch.connpass.com

皆様に次回イベントでお会いできることを楽しみにしております!
宜しくお願い致します。