D&S Data Night vol.06 (データ分析/データ収集)の勉強会

開催日時

2017/7/19(水)19:00〜21:30

開催場所

ヤフー株式会社17F

Agenda

• 「ヤフーのロギングSDKの挑戦 〜データドリブン企業を目指して〜」
• 「 データマネジメントに必要な、システム『以外』のもの」
• 「データ分析技術が変えるビジネスの未来」

---

資料

https://www.slideshare.net/techblogyahoo/sdk-yjdsnight

ロギングSDKの挑戦

• サービスごとにログの活用が難しい
• 自動ロギング導入

ロギンク対象指定のI/F

• ios
  • AssociatedObjectの利用

ロギンク対象の監視・判定処理

• スクロール監視
• ポーリング
  • 一定時間ごとに処理を実行
• イベントのフック
  • イベント発生ごとに処理を実行

可視状態

• window&screen
• root view
• scroll view
  Window座標系で判断する

まとめ

• 自動ロギングでボトルネックの解消

---

データマネジメントに必要な、システム「以外のもの」

• サービスごとのデータ活用
  • サービス間をまたいでの活用はまだ未熟
  • 相互に活用したい
• サービス数は１００近くある
  • 戦略的なデータマネジメントが必要
• 何をどういう順番でやれば良いか？
  • データマネジメント領域
  • DMBOKKv1 + v2などを参考に領域を整理
    • RDBMSの時代の本みたい
• データマネジメントPOI
• Data Stewardship
  • 組織的にデータマネジメントに貢献する（責任を負う）こと
• ヤフーでのData Stewardship体制は
  • 体制の新設
  • カンパニー単位（サービスの集合）でデータの意思決定Data Directorを新設
  • 既存の他の体制にXXX
• CDO:全社規模の計画リード
  • Board:全社規模の意志決定
  • Data Directors:全社施策の検討・提案・実行＆カンパニー内のCOO
• ビックすぎるデータ
  • 増え続けるデータの種類、量、課題の専門性
• ヤフーとしてのビジネス判断
  • ビジネス的にリスクがあるケースについて、誰かがヤフーを代表として専門的な見地から判断できる必要がある
• レギュレーションの一元管理

まとめ

• Data Stewardship & Ownership
  • データ分析
  • DWH
  • BIツール
  • データモデル

---

データ分析技術が変えるビジネスの未来

• 紙媒体をデジタルデータにする
  • 機械学習
• ニューラルネットワーク

自動化と社会

• 仕事が奪われた人はどうするんだ！？
  そのため自動化の進め方は非常に重要

自動化とデータ分析技術

• 少ないデータで学べること
• 計算量が減ること

幾何学を基本とした数学的な説明が重要であると考える

• 内部で何が起きているのかわからない

機械学習と幾何学

• 多様体＝座標のようなものと考えください

データ分析の数学的理解への課題

• ２次元での回帰分析や多項式なら人間から見て直感的に理解できた

まとめ

• データ分析