Facebookの時系列予測ライブラリProphetを使って株価予測をやってみた

ブログかなりご無沙汰になってました。 今回は、今年2月にFacebookから公開された時系列予測のためのPythonライブラリProphetを使って、株価データの時系列予測をやってみようと思います。 【環境】 Python 3.6.1(anaconda3-4.4.0) Mac 10.12.4 ※ コードはJu…

ウェアラブルデバイスのログで自己分析してみる

2ヶ月ほど前に自分自身の行動ログを収集したいなと思い、フランスのWithings社が出している腕時計型のウェアラブルデバイスWithings Pulse O2を購入しました。以来、ほぼ毎日、お風呂と仕事中以外は腕に付け、歩数、心拍数、睡眠時間などのログを取っていま…

ソーシャル×ECについて分析してみた

昨年10月に発表されたYahoo!ショッピングのeコマース革命など、非常にホットで、これからますます成長していくであろうEC分野ですが、ソーシャルとも非常に相性が良いということでも知られています。TwitterやFacebook上で友人・知人が話題にしている商品に…

Chef Soloでelasticsearchの環境を作る

gemのバージョンはこんなかんじ。 berkshelf (2.0.10) chef (11.8.2) knife-solo (0.4.1) 複数台のサーバーにelasticsearchの環境を作ろうと思い、Chef Soloを使ってやってみた際のメモです。chefはあまり慣れてないので変なこと書いてるかもです。 リポジト…

TwitterネットワークにPagerankを適用する

前回の記事で、Pagerankを実装したので、今回はそのアルゴリズムを(自分の)Twitterのネットワークに適用してみました。 具体的な手順は、まず、Twitter APIを叩いて、対象アカウントがフォローしているユーザーのユーザーIDを取得します。このAPIは、一回の…

RubyでPageRankアルゴリズムを実装する

みなさんご存知、Webページ重要度の自動判定アルゴリズムであるPageRankですが、この記事 PageRankアルゴリズムを使った人事評価についての実験 | 株式会社サイバーエージェント を読んで、PageRankアルゴリズムを身の回りのさまざまなリンク構造を持ったデ…

Rubyで生成したネットワークデータをd3.jsで可視化する

学術分野としてはやや下火になっている分野ですが、私たちの友人ネットワークがどのように成長していくかをモデル化し、現実のソーシャルネットワークの形成過程を明らかにしようという研究があります。 一般的に、「友達の友達とは友達になる可能性が高い」…

RubyでSVMを使ってみる

CentOS6.4にlibsvmを入れて、rubyでそれを使うまでの導入記事です。 rubyのバージョンは、2.0.0p247を使っています。 まず、SVM(Support Vector Machine)について軽く触れておきます。SVMは、教師あり学習(正解データを学習させる)を用いた識別手法で、 多く…

探索的データ解析と可視化

探索的データ解析(死語なの?)に関して調べてたらすごくおもしろかったので、自分の頭の中を整理するためにも文字にしておく。(僕は統計の専門家ではないので間違ったこと書いてるかもしれません。間違ってたらそっと教えてください...) データ解析には次の二…

「データ理解を助けるビジュアライゼーション」を振り返って

エンジニアサポートCROSS 2013で「データ理解を助けるビジュアライゼーション」というセッションを行いました。多くの方に関心を持っていただき、立ち見が出るほどの盛況でした。このセッションはUstを切っていたので、内容に関して文字で残しておきたいと思…

CROSS2013で「データ理解を助けるビジュアライゼーション」をやります

1月18日にエンジニアサポートCROSS2013というイベントがあります。その中の一セッションとして、 「データ理解を助けるビジュアライゼーション」 というセッションをやらせていただくことになりました。 参加者にとって有意義で、来てよかったと思ってもらえ…

Gephiを使ったTwitterネットワークの可視化

今回はオープンソースのグラフ可視化ソフトウェアGephiを使って、自分のTwitterネットワークを可視化してみました。 まずデータですが、自分(@hongo35)がフォローしている人のuser_idをTwitter APIで取得します( https://dev.twitter.com/docs/api/1/get/fri…

データビジュアリゼーションとインフォグラフィックスの違い

最近はデータビジュアリゼーションもインフォグラフィックスも目にする機会が増えました。しかし、この二つを混同している人が少なからずいるように感じます。データビジュアリゼーションとインフォグラフィックスはどちらも情報を視覚的にわかりやすく伝え…