しんゆう/ データ分析とインテリジェンス
@data_analyst_
Followers
8K
Following
197
Media
10
Statuses
9K
「データを使いやすくする人」たまに「データを分析してインテリジェンスを提供する人」。「データ整備とデータマネジメント」というサイトの管理人。「データ分析とインテリジェンス」は引き続きnote:https://t.co/DCTxY3sO3Nで書いてます
Joined August 2014
突然ですが、「データ整備とデータマネジメント」のサイトを公開します. 「データ整備の情報を整備する」がコンセプトです. 正直まだ中身は全然で、もっと充実してからにしようかとも考えてましたがそれだといつになるかわからないので思い切って公開します.
dataseibi-and-management.net
データ整備とデータマネジメント トップページ データ整備とデータマネジメント
1
54
371
お問い合わせフォームが表示されていなかったので修正しました. お問い合わせ データ整備とデータマネジメント.
0
0
0
次回開催は「平日夜・都内・10階以下」を優先させていただきます。それ以外での条件でなら、という場合もご連絡いただければ開催検討します.
0
0
0
先日イベントに参加して楽しかったので、ひさびさに自分でリアルイベントを開催しようと思います. 9月以降で会場を探しているのですが、ご興味ある企業様はDMにてご連絡ください。内容について詳しいお話をさせていただきます.
1
0
6
なんか思ってたより反響がある。。。. 早速GA4でトラブルが発生したり、BigQueryに連携したデータ使ってDataformで遊ぼうとしたら設定うまくいかなかったりと前途多難.
突然ですが、「データ整備とデータマネジメント」のサイトを公開します. 「データ整備の情報を整備する」がコンセプトです. 正直まだ中身は全然で、もっと充実してからにしようかとも考えてましたがそれだといつになるかわからないので思い切って公開します.
0
0
7
RT @data_analyst_: 突然ですが、「データ整備とデータマネジメント」のサイトを公開します. 「データ整備の情報を整備する」がコンセプトです. 正直まだ中身は全然で、もっと充実してからにしようかとも考えてましたがそれだといつになるかわからないので思い切って公開しま….
dataseibi-and-management.net
データ整備とデータマネジメント トップページ データ整備とデータマネジメント
0
54
0
自然言語処理がより高度にできるようになったらセマンティックレイヤー自体が不要になってくるような気もしてるんですが、もしかしたら自分のセマンティックレイヤーへの理解が間違っているのかも（LookMLってセマンティックレイヤーの1つだと思ってる）.
同意でして、権限管理とか正しい集計ロジックの担保を担うセマンティックレイヤーもこの方向に拍車を掛けているように思います.
0
1
2
noteの方は引き続きデータ分析全般や分析の話で使っていきます。いまあるデータ整備の記事については移行するか書き直した上で消す予定です（が、いつになるか未定）.
0
0
1
まずは「データ整備の知識を体系化する」を目標にした「データ整備ガイド」を中心に書いていきます. 「データ整備」を中心に思いついたトピックをひたすら出してみたら100個を余裕で超えており、いつ書き終わるのかもさっぱりわかりませんがとにかくやってみます.
dataseibi-and-management.net
データ整備ガイド データ整備とデータマネジメント
1
0
2
この辺りの話は全然わからないのでどなたか有識者の。。。.
この「単位ごとの最小粒度のテーブル��」を、テーブル群共通マスタデータで共通軸で分析できるようにするのが、インモンのデータウェアハウスであり、キンボールの適合ディメンションDWバスでつながったデータマート群（＝データプレゼンテーションエリア）であると考えてます。.
0
0
3
あとは明細をどこまで整理するかが残るかなと。生データだけあればあらゆることが自然言語でできるようになるとは思えないのでガバナンスも考えると集計単位ごとまでの整理は必要になるではないかなあ.
私もこう思っています。十分な処理能力を備えると、明細をクエリするだけで良いのではないかと。.あとはそこにアクセス、集計させるためにSQLを覚えなくても自然言語処理がアクセスインターフェースになるのでは。.
0
0
2
RT @chira: この「単位ごとの最小粒度のテーブル群」を、テーブル群共通マスタデータで共通軸で分析できるようにするのが、インモンのデータウェアハウスであり、キンボールの適合ディメンションDWバスでつながったデータマート群（＝データプレゼンテーションエリア）であると考えてま….
0
1
0
データマートを作る主な理由が、処理能力不足とUIの不備だとすると今後は「単位ごとの最小粒度のテーブル群＋自然言語処理」になってデータマートという概念は消えるのではないかなと妄想してる.
2
6
58
この話はあくまでも独学で教えを受けられない場合であって、知見のある人が先を見越して投資をする場合や、教えを受けられる環境にある場合は必ずしも当てはまらない。後で大変になるので先に最低限でもガバナンスを考えておくこともありえる、ということには注意喚起が必要だろうとあとで思った.
まず使う、それからガバナンスを考える、というのが自然な流れ。先にエンジニアリングやガバナンスの人だけがいるとデータはあるが使われないという箱物になる. ただこれは現場ではなく経営者とかに伝わらないと是正は難しいというのが個人的には悩みどころ.
0
0
5
使うことを見越して投資が必要だ、という考え方も間違ってはいないけれども、データを使うことや集めることへの経験があるからこそ成立するのであって、とりあえずデータを集めたところでほとんど無駄になる.
1
0
1
まず使う、それからガバナンスを考える、というのが自然な流れ。先にエンジニアリングやガバナンスの人だけがいるとデータはあるが使われないという箱物になる. ただこれは現場ではなく経営者とかに伝わらないと是正は難しいというのが個人的には悩みどころ.
データエンジニアリングの話に浸かり過ぎると、「野良クエリをどう管理するか」「いかに綺麗にモデリングするか」「SSoTをどう保証するか」のようなガバナンス偏重の思考になってしまうこともあるけど、あえてカオスを受け入れて、データ活用の総量を増やす方をまずは優先するべきだとは思う。
1
8
32
分析とは.・何が起きたか.・なぜ起きたか.・これからどうなるのか.を知ることだと考える. 意思決定のためには「これからどうなるのか」が必要。ところが「何が起きたか」だけを「分析」と称していることが多い。ダッシュボードの大半が意思決定につながらないのはそのせい.
0
7
31
「意思決定のための分析」の基本要素として.・完璧な分析など存在しない.・特定の意思決定にはそのための分析が必要.・適切な時期に届かないと無意味.・「何が起きたか」ではなく「これからどうなるか」.あたりは最低限抑えておくべき。という大本の話がまとまってないのがよくないな。書こう.
「正しくなくて良い」というのは「間違っていてもかまわない」という意味ではなく「不正確なのはやむを得ない、意思決定したいことに対する分析を、必要な時に出してほしい」というのを「使える分析」と表現しているのではないかな.
0
1
21
文庫の価格、いつのまにかこんなに上がってたんだ。薄くても1,000円超えていて驚いた。いつも値段見ないで買ってるから気づかなかった。ハードカバーは5,000円超えの本が目立つようになったけど文庫ももっと上がるのだろうか。まあ買うのには変わりないけど。もしかして気づくの遅い？.
0
0
1