Error: 2.1 - 0.0: JOIN cannot be applied directly to a table union or to a table wildcard function. Consider wrapping the table union or table wildcard function in a subquery (e.g., SELECT *).

bigquery のエラー。standard sqlから始めたのでなんのこっちゃ?だったのですが、 table wildcard function = table_date_range関数のことだったのですね。 (e.g., SELECT *) のワイルドカードとも勘違いした。。 table_date_range 使ってるテーブルをサブ…

pandasで時系列カラムの欠損行を埋める

ログデータから計測時間を元にgroupbyして集約データにするときに、 広告のクリックのように滅多に計測できないものの場合は その時間帯の行が無いことがある。 具体的にはこんな内容のデータ。 click created_at 1 1 2017-07-01 01:00:00 2 1 2017-07-01 02…

RユーザがPythonを1ヶ月触ってみて

最近はRよりもPythonを触るようになったのでメモ。 RはHadleyさんの作ったライブラリ達*1を使えばなんでもできると思っている。 新しい言語を学ぶのは視点が広がるので良いです。 Rと比較して Pythonは読みやすい。 インデントが良いのかな。ちゃんと書かな…

Dockerでデータ解析環境を作ってみようとしたらほぼ揃ってた。

Dockerを触る機会があったので試してみる。 目標はデータ解析環境の構築 PostgresqlのDBサーバと R、もしくはpython実行環境。 最終的にJupyterでブラウザから操作できたらうれしい。 。。。と思っていたらJupyter+R、Python、ついでにJuliaの環境がまるっと…

thinkstats2 1章

英語は無償で読めるのだけど、そこに時間を使うのもアレなので本を購入。 ただ、githubにある演習問題は英語だったので、結局読むことに。まぁ本文読むよりは良いけれど。 演習の2つ目の穴埋めで早速ハマる。coodbook のページは度数分布表になっているので…

年末の大掃除。【統計・機械学習系の積み本編】

この記事は Advent Calendar 2015 - VOYAGE GROUP 5日目の担当分です。 私、@yuu_ito はVOYAGE GROUPでデータ見て考えて整理する業務に携わっています。 仕事について今年を振り返ってみると、新しい技術に触れたり、学ぶ事もたくさんあったので 全体的に楽…

テスト投稿

hello.