LINE DEVELOPER DAY2019レポート④ A-1スマートチャンネルのプラットフォーム/コンテンツの継続的改善
Smart Channelのセッションで興味を持ったので、訪問したポスターセッションです。
自分が機械学習の人間ではないので、やや申し訳ない気持ちになりながらお伺いしていたところ、途中、講演されていた渡邊さんも来てくださいました。
Q:このKPIはとても好きだと思いましたが、どのように決めたのでしょうか。
A:プロジェクトを進めて行く中で、試行錯誤もありこれが適切であるとした。ユーザーに直接聞いたアンケート調査の満足度を正解データとした際に、これをKPIと置くのが最も収まりがよかった。
Q:横断的データ分析において、「これをテーマにしよう」「これを最終的な結論としよう」というのは誰がどうやって決めるのですか。
A:最終的にはプロジェクトマネージャー。ただし、文化としてslackなどで各メンバー意見や考えを出し尽くして、PMが決める形なので、メンバーの納得感はある。
Q:自分のSmart Channelは芸能ニュースが出ましたが、これはどういうロジックでしょうか。
A :複数のサービスを利用していると、そのログに関連したものが出る。LINEマンガを利用しているとマンガのレコメンドなど。
Q:各サービスの新規ユーザーの獲得ではなく、利用サービスの満足度を上げているもの(まだ利用していないサービスにユーザーを回遊させていくものではない)という理解でよいでしょうか。
A:そういうことになる。
マーケティングリサーチ業界において、ログデータがアンケートの回答データよりもあてになるものと扱われることが多い*1ので、アンケート調査のデータが正解データとして扱われているのが意外だった。
時間の少なさとリテラシーの足りなさからあまり踏み込んだ話まではできなかったのだけど、リテラシーを上げた上で再度質問してみたい。
ポスターセッション、目についた興味のあることから聞いてしまったけれど、いったん上から順に説明してもらえば良かったなぁ…。
ポスターセッションは写真に残すとリテラシーを上げた後で再読することができるのでありがたいなぁと思いました。
SmartChannelのセッション
LINE DEVEROPER DAY2019の過去記事
*1:これはアンケートの設計が悪かったり、業界内の危機感を煽るためであったり、隣の芝生が青かったりと色々な事情があると思うので一概にどちらがどうという類のものではない
LINE DEVELOPER DAY2019レポート③B1-3 コミュニケーションアプリ「LINE」の機能改善を支えるデータサイエンス
LINE DEVELOPER DAY2019レポートの3記事目です。
以前参加した説明会でデータサイエンス部門の方が登壇すると聞いて、楽しみにしていたセッションでした。会場は満員で事前のブックマークの数も多かったそうで、日本のLINEに対するデータサイエンスへの期待の大きさ(あるいはデータサイエンスの裾野の広さ)を感じました。
B1-3 コミュニケーションアプリ「LINE」の機能改善を支えるデータサイエンス / LINE 高口太朗
LINEアプリの機能改善を支える、データサイエンスチームの知られざる裏側 - ログミーTech
印象に残った内容
- LINEにおけるA/Bテストは単にいずれかの勝ち負けを見るだけでない。サービスを改善する示唆を得る機会だと考えている。
- 何かの指標が大幅に改善した時は、他の何かが犠牲になったのではないか(と考えて、他方面からも検証する)
「グループ作成」という課題設定について*
Q:そもそもユーザーのグループ作成が成功することによるサービス/ビジネス的な価値は何ですか。また、さほど失敗する印象を受けないのですが、かなり昔の事例なのでしょうか。
A:ビジネス的な価値はユーザーのアクティブ率が上がること。グループに所属していないユーザーはLINEをやり始めても使わなくなっていってしまう。
グループ作成はやり慣れている人の感覚だと、どこに失敗要素が?と感じると思う。実際に社内の人間もそう思っていた。時期的には自分が入社して以降なのでここ2年半以内。しかし、LINEは大きなサービスなので、日々初めて使う人はいるし、グループ作成に失敗している人もいる。
性別年代のカテゴライズについて
Q:グループ作成の失敗率は年代とも相関がありましたか。
A:必ずしもそうでないと思う。というか、性別・年代の実データは分析者側は持っていない。誕生日の記入は任意記入だし、セキュアな別の場所に保管されているためアクセスできない。推定によるラベルなので、あまり性別・年代で考えることには意味がなく、それよりもふるまいで考えた方がよい。
自分は生年月日を登録していたので、すっかり実データを持っている、という認識だった。いわゆる「個人情報」をどこまで取得するか、取得した上で誰まで何まで利用できるようにするのか、というのは最近の重要かつ繊細なテーマだなと感じている。
3箇所に導線を置くという解決策について*
Q:ユーザーのために3箇所に導線を置いたということのことでしたが、限られた画面の中の3倍の面積を割いてしまっているのではないでしょうか。代わりに削ったものはなんだったのでしょうか。
A:実は代わりに削ったものは特になく、3倍の面積を割いているわけでもない。2箇所はもともとあった入口。
一番初めにグループ作成のボタンがあった箇所が不自然な箇所だったため、それを削っても良いのではないかと考えていたが、初期から利用しているユーザーの利用が多く、最終的には3箇所とも残した。
ABテストとユーザーへの配慮について*
Q:自分は遠方に住む親にスクリーンショットで操作説明をする場合があります。ユーザーによって違う画面を出すことによるユーザー側での弊害はないのでしょうか。
A:ABテストを実施する際には、カスタマーセンターに対象となるユーザーIDと実際の画面を展開している。また、デバイスやアプリのバージョンにより画面表示は異なるので、そこまで人と画面が違うということに違和感があることはないと考えている。実際にカスタマーセンター等から、そのような声があがってきたこともない。
Q:カスタマーセンターとの連携は、そこまでやっているのか…!という印象を受けました。今日様々なセッションを聞いたり、社員の方と話したりする中で、ユーザーに対して凄く誠実な印象を受けたが、何がそうさせているのでしょうか。
A:利用するユーザーが多いため、1%であっても人数に換算するとその影響は膨大。また、無料アプリであるため、ユーザーは不快な体験をしたらいつでも利用を辞めることができる。そのため、ユーザーファーストを意識した運営になっていると思う。
LINEのDataScientistに必要なコーディングスキルとは*
Q:コーディングに関しては、SQLやPython、Rなどのひとしきりの統計関数等が使えればよいのでしょうか。
A:中途に関してはそのレベルでは足りない。SQLはまず必須。自分が分析したいデータが使いたい形であるとは限らないため、必要な形に加工して取得できることが必要なため。その上で大規模データを扱う上での勘所が必要。データ量が多いため、扱い方を間違えるとものすごく時間がかかってしまう。
全体を通しての感想
数字に対する向き合い方が人間的で好きだなぁと思った。
私自身、今の職場で尊敬する先輩に「統計的に有意であることは、必ずしも実態として意義があることを意味しない」「指標というのは実態をなんとか計測するために単純化したもの。測れていないものがあることを忘れてはいけない」と教わったこともあり、数字も数字じゃないものもみて、よりよい意思決定ができるようになりたいなと考えている。
程度の適切さを迷うところはあるけれど、望ましい結果を得られたときに「本当にそう?」と思える慎重さと、数字を解釈できるだけの点への理解は重要だと思っている。
共感や憧れが募る一方で、自分の甘さや足りなさに苦しくなる部分はあったけれど、実際にそれをやっている方に直接お話や疑問に思ったことを聞けて大変有意義だった。「いい話聞いたなー」で終わらないようにしよう。
LINE DEVELOPER DAY2019レポート②B1-2 The Art of Smart Channel
LINE DEVELOPER DAY2019レポートの2記事目です。
この時間帯のSESSIONは何を聴くか大変迷いましたが、Keynoteでデータの横連携がされているサービスと紹介されていたため、この講演を聴きました。結果としてこの講演を聴けて大変良かったです。
B1-2 The Art of Smart Channel / LINE 渡邉直樹
LINE上でユーザーに適したコンテンツを“たった1つだけ”レコメンドする「Smart Channel」のアーキテクチャ - ログミーTech
Smart Channel と講演のデザイン
チャット画面の最上位に出ているサジェストで、正直なところあまり意識してみたことはなかったのだが、「現状各サービスを連携したデータを使ってサジェストしているのはSmart Channelのみ」なのだそうで、技術が詰まっていた。
このセッションはSmart Channelについて、概要といくつかの技術を伝えるセッションで、「より詳細の各内容を聞きたい場合はこの日のこのセッションを聞いてほしい」という建付けになっていた。おそらくあまり認知されていないが技術は詰まっているSmart Channnelの講演のデザインとして、とても親切で良いなと感じた。
印象に残った内容
- Click/MuteをKPIとした。
- 天気は見るだけで用が足りるためクリック率は低いが、「○○のち××」というような、変化がある天気の場合クリック率が高い。これはその変化点がどこになるのかが気になるからではないかと思う。
Smart Channelのデザインについて*
Q:あまり目立っていないように感じますが、現在のデザインになっている理由は何ですか?
A:ユーザーはあくまでトークを目的にこの画面を開いているので、邪魔になるようなデザインは避けている。
一方でトークと混在してしまわないように、画像はトークのアイコンが左側に出るのに対して、Smart Channelは右側に出している。
Q:最上部に表示している理由は新しいトークが上に来るため目線が来やすいからでしょうか。
A:その理由もあるし、最下部に表示した場合誤タップが多かった。スマートフォンは下の方を持つため、この機能に限らず誤タップが多い傾向。
サービスの可能性(旅行先の服装のサジェスト)とプライバシーについて*
Q:講演内で、「位置情報を利用して旅先の天気を表示するなどしたい」という話があったが、遠方の友人を訪ねる/友人が訪ねてくる際に「何を着て行ったらいいか?」という話題になることがある。
自分はテレビはあまり見ないが、たまに見ると服装の話をしていて便利だと感じることがあるので、「今日の天気」→「今日何を着ていくか」というように、もう一歩意思決定に近い情報だとより便利なのでは。
また、旅先の服装は出発前に荷造りしてしまっている。ただ、その前の計画がLINEのトーク内で発生している可能性があるので、LINEならそのようなサービスができるのではないか。
A:ユーザーのトーク内容はデータとして利用していない。これはユーザーのプライバシー保護のため。GoogleなどはGメールの予約の内容がGoogleカレンダーに同期されるなど、メッセージの内容を利用していると思われるが、LINEではやっていない。人によっては少しdefensiveな印象は抱くかもしれない。
全体を通じての感想
ユーザーに対する優しさと、なんとなくではなく細部まで考えて設計されたデザインであることが印象的だった。
また、「気持ちわるい」と「便利」の境目はどこにあるんでしょうね、という話ができたのも最近関心があるテーマだったので楽しかった。自分が興味を持っていて、人に話してもあまり関心を抱かれないことについて、同じように関心を持っている人と話せるのはすごく楽しいし嬉しい。日頃は外れ値になりがち。
LINE DEVELOPER DAY2019レポート①Keynote
今年度、初めてLINE DEVELOPER DAYに参加しました。
コンテンツが量・質ともに豊富で、書きたいことがありすぎるので、全何回になるかわかりませんが、自分が参加したものを中心に少しずつレポートをあげていきたいと思います。
なお、
- 資料や動画は公式参照が良いと思うので、自分自身の感想や社員の方と話した内容が中心です。(後者はどこまで書いてよいのか判断に迷うので、基本的に一旦OPENにさせて頂いた後、ご指摘があれば削除・修正を行います)
- 網羅性はありません。
今回の記事にはありませんが、社員の方に個別にお伺いした内容はタイトルに*を付けていきます。
Keynote / LINE Park Euivin
ユーザーの生活のあらゆるシーンをサポートするライフラインへ LINEの技術的挑戦 - ログミーTech
最初の話題
ここは、決済事業の話で、やはりという印象。ITのTOP企業*1を筆頭に、各業界の大手が狙っているなと感じる。Keynoteでは特に言及は無かったが、情報銀行も含めてしばらくHOT topicsだろう。
昨年はどうだったのか気になって見返してみたところ、「Conncet(オンラインサービスとオフラインを人単位で繋ぐ)」だった。
なお、公開資料のスライドベースで同じレイヤーになるものを比較すると、今年は「LIFE with LINE」だったというべきなのかもしれないけれど、Keynoteを聞いていた印象では決済事業だった。この辺りは継続して参加された方の印象を聞いてみたい。
データ連携
各サービスのデータを、横串をさして分析できるようになる、という話は期待が高まった。横断的分析については、「おもしろそう!」という気持ちと、「裏側の連携と事業的な発見/インサイトの抽出が大変そう」という気持ちとどちらも抱いている。仮説構築や計画性が必要そうである。
SmartChannelが一例として紹介されていて、自身のもので何が表示されているかを見たら芸能ニュースで少し悲しかった。 これはLINEに限らず他のサジェスト機能(WEB広告やAmazonのおすすめ)でもそうなのだけれど、それが表示されている理由に思い当たる節が無く自分では親和性が低いと思っているものが表示されると、私は「自分を誤解されている」という印象を抱く傾向にある。
顔認証
これは入場時利用しなかったので、セッションを聴いた後に試しに行ってみた。登録写真をB612という弱めの加工が入るアプリで撮った写真にしてみて、自分自身は無加工で挑戦したところ、無事認証された。
本当はsnow*2など加工が強めのアプリが認証されるか(許容度のチェック)や、自分とそれなりに似た他人が認証されるか(異常系のチェック)もやってみたかったのだけれど、準備不足でできなかったのが残念である。
AI OCR
これは本題から逸れるのだけれど、フォント生成の話を聞いて、佐藤雅彦さんの「”これも自分と認めざるをえない”展」の『佐藤雅彦さんに手紙を書こう』を思い出した。2010年の時点で、自分の属性が自分から切り離されることの気持ち悪さに言及しているのは凄いなぁと思う。
LINE Ai Call
外食産業と新サービスの親和性は高そうだと感じた。
外食産業の中でターゲットとなりやすい団体客での利用ニーズは、コミュニケーションの生まれるところにあるだろう。それから、外食産業でマーケティング予算を持っている大企業はいわゆるチェーン店で、LINEの高頻度利用者と重複が多い*3ように思う。
また、電話とLINE/WEB予約のどちらが心理的抵抗感が少ないかが気になって、近いリサーチが無いかを探した。TableCheckが2018年4月20日に実施した調査結果が見つかり、
同社の調査によると、飲食店の予約手段では全世代平均では「ネット予約」が半数超に。年代別で見ると、20代は「ホットペッパー」(56.7%)、「食べログ」(45.1%)、「飲食店の自社ネット予約(ホームページ)」(45.5%)とネット予約がトップ3となったのに対し、年代が上がるほど「電話予約」が主流となり、50代では65.4%に。ただし、50代でも、「ぐるなび」と「飲食店の自社ネット予約(ホームページ)」がそれぞれ30.7%となるなど、ネット予約を行なう人も少なくない。
とあったのだけれど、
- 実施主体が飲食店ネット予約顧客管理システムを提供している
- 明示はされていないが、実査機関が1日でn=906なので、おそらくインターネット調査と思われる
ので、実態はもう少し電話側に寄ると思う。
余談だが、当該調査はおそらく世代別の均等割付(n=200?)で、業界的にはよくある設計なのだけれど、ビッグデータ周りの分析(豊富なサンプル数と厳密と思われる検定)を見た後だと、いいのかなぁ…という気持ちになってくる。
Verda(プライベートクラウド)
LINEの大規模インフラを支えるプライベートクラウド「Verda」の要諦と、セキュリティ強化の取り組み - ログミーTech
「プライベートクラウドを選択しているのは課題解決を優先しているから(他人任せにしたくない)」という説明が印象的だった。
数ヶ月や数年かかることを「長い」と表現していて、もはやdog yearですらないんだなぁと思った。
機械学習によるフェイクニュース判定サービス
これは自分の関心領域とは異なるが、未来だなぁという感がありおもしろかった。ただ、自分自身が真偽の判断を放棄してLINEの機械学習サービスに判断を任せるという意味では本質的には同じなのでは・・・という気がしないでもない。
ただ、フェイクニュースからデモに繋がったという事態が起こっている文脈においてはサービスの意義はあると感じる。
SQL、Pythonでのデータ分析ができるようになるための学習計画をたてる
WEBサイトでいろいろ検索をして記事やブログを見たり、大型書店で書籍を見たりして、おおまかに以下のような計画を立てた。
※「自分はこういう計画で学習してみます」というものなので、「こうすればできるようになります」という類のものではありませんのでご了承ください。
※この記事は必要に応じ加筆修正を行います。
【1】SQL
(1)SQLの概要を知る
- progate学習
(2)データ分析に必要なSQLについてあたりをつける
- 10年戦えるデータ分析を読む
- 企業のjob discriptionを読む
- 職業としている人に話を聞く
(3)データ分析に必要なSQLの内容を実装する
10年戦えるデータ分析のコードを動かす
- select,from,where,group by,having,order by,limit
- 集計
- 演算
- join
- join2
- window
- 縦持ち・横持ち
- 大きな分析
(4)SQLを利用したデータ分析を実施する
- 練習問題?
データセットの入手も含めて、pythonと一緒にやった方が良い?
11/26追記 企業によっては大規模データの分析が必要なのでビッグデータ分析・活用のためのSQLレシピあたりまで頑張ったほうが良いのかもしれない。
【2】Python
(1)Pythonの概要を知る
- progate学習
(2)データ分析に必要なPythonについてあたりをつける
(3)データ分析に必要なPythonの内容を実装する
- 東京大学のデータサイエンティスト養成講座のコードを動かす
(4)Pythonを利用したデータ分析を実施する
【学習計画をたてるにあたり、考えたこと】
- 入門書をパラパラと見たり、初心者向けに薦められているサイトを閲覧したりする中で、自分はprogateがとっつきやすいように感じたため、概要理解には双方progateを置いた。また、progateは自宅でも会社でもでき、PCでもタブレットでもスマホでもできるので、継続するハードルが下がるのも良いと思った。
- 近しいプログラマに「Pythonは領域が広いので、データ分析に特化したことだけを覚えた方がよい」という助言を貰ったので、データ分析に特化した参考書を探した。SQLも同様と感じている。
- 実業に近い例題で手を動かすのが興味も続き、実務にも役立ちそうだったので、意識的にそうする予定。コード萌えではなくビジネス萌えなので、「選手の平均身長を求めましょう」みたいなものは必要性がよくわからなくなるので挫ける。
- 一次情報が好きなので、関連企業のセミナーや懇親会などに出て、実際に業務でどんなことが求められているかなどを聞くようにしている。検索ワードを手に入れられるし、単純に知的好奇心が満たされてたのしい。
- 現時点においてPythonはまだあまり進んでいないので、計画の解像度が低い。ただデータ分析に特化しても思ったより範囲が広そうなので少し焦っている。もう少し進捗したらまた改めて計画をたてたい。
【読書】JMRA40年記念誌を読みました
- 記念誌 発刊に寄せて
- マーケティング・リサーチ業界、10年の軌跡
- これからの10年、マーケティング・リサーチの可能性
- マーケティング・リサーチャーの描く未来
- JMRA40年史(資料)
リサーチャーのリサーチャーたるゆえんは、データの発生する現場を知っていることです。与えられた環境のなかで、集める情報の最適化のためのすべを知っているので、集まる情報の可能性も限界も知ることができる。リサーチはもちろん、それ以外のデータも含めて情報の発生、収集の現場で何が起きているのかを理解し、この範囲でものが言える、ここから先は間違っているとしっかりと評価できること。統計処理は知らなくてはいけないけれども、それ以上に顧客を、世の中を、人間を知らなければそういうことはいえない。リサーチャーはあらゆるデータの価値を評価できる『情報価値鑑定士』にならなければいけないと思います」あたりは、本当にこれができているだろうかなど、いろいろと思うところがありました。(太字は当方による。以下も同様。)
現在、マーケティング・リサーチに携わっている人間には大きな強みがあります。一つは、消費者に関する情報を収集する豊富なノウハウです。(中略)足らないのは、そうやって手に入れた情報を、どう見たらいいのか、なぜ消費者はそうするのかを考えるインサイト、つまり洞察力ではないでしょうか。そのインサイトをソリューションに結びつけるアイディエーションスキルも不足していると思います。この辺を根拠に調査会社を批判する発注側のリサーチ部門の人をたまに見かけますが、実は発注側のリサーチ部門に身を置いている(いた)私自身が社内の他部署から受ける批判と全く同じです。ネスレ日本株式会社 松崎氏、元ネスレ日本株式会社 桂木氏
私たちは、科学的思考とリサーチの基礎において、高い水準のスキルを有してなければならない、ということです。現在では、テクノロジーを介してさまざまな「データ」を簡単に取得できるようになっており、このスキルはますます重要性を増しています。(中略)サンプリング確率、統計的推測、データクリーニングやデータアナリティクス等、科学的スキルの価値は過小評価できるものではありません。 コカ・コーラ・ジャパン株式会社 大嶋氏
MRの機能は、「データすなわち事実に基づきビジネスに有用な知恵を抽出し、ビジネスに活用して、ビジネスに変化をもたらすこと」だと思っています。(中略)データの入り口は、ビッグデータだろうが、ニューロだろうが、なんだって良く、納品物は、ビジネスに有用な知恵が伝わってビジネスに変化をもたらすように活用されるのであれば、ワークセッションだろうが、データベース構築だろうが、クライアントの教育だろうが、これもなんだって良いのであって、極めてシンプルな話だと思います。 日産自動車株式会社 高橋氏
- 今ある環境や手法は所与ではなく、誰かがもっと良くしようとして生まれたもの
- 新しい手法の発見についても、クライアント領域への関わり方についても、根幹になるのは「知りたい」「売りたい」「良くしたい」という前向きな欲望
専門統計調査士に合格しました
やったこと
やってよかったこと
- 語り口調で書いてある
- 最初に「この本がわかると何ができるか」の説明があり、モチベーションを与えてくれる
- 別の概念が出てくるのは、既存の概念で困ってからなので、「え?なんでいきなりそんなことするの?」という戸惑いがない
- ある程度進んで情報を整理したい!というタイミングでまとめの図や表が出てくる
- 文字がたくさん!という感じのレイアウトでなく読みやすい
試験後に振り返る「こうしたらよかったかも」
単回帰分析・重回帰分析・因子分析の勉強にもっと時間を割く
- 調査上の注意や調査手法についてなど調査会社の実務知識で解けるもの・・・前半18題(45%)
- 標準誤差や中央値など統計に関する知識で解けるもの・・・後半22題(55%)
- 後半22題のうち単回帰分析、重回帰分析・因子分析に関するもの・・・7題(全体の17.5%、統計分野の31.8%)
言葉について広く浅く勉強する
- POS分析に関する用語(ABC分析、トレンド分析、デシル分析)
- オッズ比
- 季節調整法(X-12-ARIMA、TRAMO-SEATS)
- 連鎖基準指数(ラスパイレス式、フィッシャー式、パーシェ式)
来年以降受ける方へ私がお勧めする勉強法
出題傾向が毎年変わるとの噂ですが、今年は2013年から2014年ほどの変化はなかったので、大きな改変からは少し落ち着いたのでなないでしょうか。
過去問を解く
はじめに1番最近のものを解いてみて、雰囲気や何がわからないかを大きく掴むと効率的です。前半の調査関連の問題は今ある過去問を全て解けば、概ね正答できるようになるのではないかと考えます。