python
DataFrameのデータの中で、欠損値ではないけど あきらかにデータに変な値が入っている・・・。 そんなことがあった場合の処理について、今回はまとめていきたいと思います。 異常値ってあるでしょ？そのデータを一括で置き換えちゃおう！ まずは下準備 前回…
前回↓の続きです。 rafu.hatenablog.jp 前回の終わりに次回予告のようになっていた以下について その列の平均値をいれる その列の1個上の値を入れる その列の1個下の値を入れる をまとめていきたいと思います。 DataFrameの欠損値データを穴埋めしてみよう …
前回までは欠損値を削除する方法をまとめました。 rafu.hatenablog.jp rafu.hatenablog.jp 今回は欠損値をあるデータに置き換える（穴埋めする） という方法をまとめていきたいと思います。 DataFrameの欠損値にデータを穴埋めしてみよう。 欠損値を置き換え…
先日のつづきをやっていきましょう。 rafu.hatenablog.jp Pandasの欠損値について その２ スタート！ 先日と同じテストデータを使ってみます。 name age add English math 0 aaa Nan Tokyo 80 90 1 bbb 20 Osaka 85 80 2 ccc 22 Nagoya 90 85 import pandas …
分析したいデータには大体が欠損値がつきものだと思います。 というわけで、まずは欠損値についてまとめてみましょう。 DataFrameの欠損値についてまとめていこう！！ 欠損値の取り扱いは以下の２種類かと思います。 削除 穴埋め（置き換えですね） 今回は削…
昨日はndarrayに色々な型のデータが混在したCSVファイルを読みこめなかった！というのをまとめました。 rafu.hatenablog.jp なんとかして読み込めないの！？ 無理だったと言われても。 なんとかならないもの？ということで調べてみました。 loadtxt()の引数…
昨日はndarrayに整数のみのCSVファイルを読みこむというのをまとめました。 rafu.hatenablog.jp ここで１つ疑問が。 型を混ぜてndarrayに入力しようとした場合、どうなるんだろう？ なんでこのような疑問が出たの？ rafu.hatenablog.jp 上の記事でやってみま…
PandasのDataFrameにCSVファイルを読み込むというのを以前まとめました。 rafu.hatenablog.jp 今回はndarrayにCSVファイルを読み込んでみたいと思います。 まずはテストデータを作ってみよう NumPyの特徴が計算に特化しているということなので、 今回は数値…
先日はndarray⇄DataFrameの相互変換をまとめてみました。 rafu.hatenablog.jp 次は？ということで、ndarray⇄Seriesの相互変換をやってみたいと思います。 今回のテストデータとして、ndarrayに以下のデータを使用します。 10 20 30 40 50 まずはndarray→Seri…
今日は２次元配列のndarrayとPandasのDataFrameの相互変換してみたいと思います。 今回のテストデータとして、ndarrayに以下のデータを使用します。 90 80 80 85 まずはndarray → PandasのDataFrameへの変換 変換方法 pandasのDataFrame関数を使えば、そのま…
今日は、空のndarrayを作ってみたいと思います。 方法としては、 - 配列内(ndarray)の全要素を指定の数値で埋めて作る場合 - 初期化されていない空の配列(ndarray)を作る場合 の２種類があります。 配列内の全要素を数値で埋めて作るとは？ 全てに「０」や「…
昨日は全ての値を整数で計算をやってみました。 rafu.hatenablog.jp ここで少し気になったこと ndarray は一括で計算ができたり高速計算が可能でした。 ここで疑問が２つ。 - ndarrayにデータ型を混ぜた状態でデータを入れたらどうなる？ - 文字列（数字）を…
昨日はndarrayで、１次元配列〜３次元配列まで実際に作ってみました。 rafu.hatenablog.jp Numpyの特徴として、高速計算が可能であったり、 配列ベースでの計算が可能だったりしますが、 どのように行うのか実際にやってみたいと思います。 実際に３次元配列…
今までデータの格納については、 PandasのSeriesやDataFrameのまとめをやりましたが、 NumPyというもあるので、こちらもまとめていきたいと思います。 Numpyってなに？ n次元配列のオブジェクトndarrayがある。 高速計算が可能 配列ベースで計算が可能 デー…
内包表記にそっくりな表記方法で ジェネレータ式というのがあります。 今日はそれについてのまとめをしていきたいと思います。 どれくらい似てるの？ 例題： y = 2x + 10 (0≦x≦10) を求めてみよう For文で作ってみよう y = [] for x in range(10): y.append(…
プログラミングをやっていると、 「この処理ってどのくらい時間かかってるの？」 と思ったことがあるかと思います。 また処理の実行時間を測って、Aの処理とBの処理、どっちのほうが早いのか？ など確認したい時もあるかと思います。 そんな時に実行時間を計…
昨日に引き続き、内包表記をまとめていきたいと思います。 ↓昨日の記事(リストの内包表記)はこちら。 rafu.hatenablog.jp if-else文でも内包表記ができる？ if-else文の内包表記をやってみよう！ 例： 以下のような条件のyの値を求めたいとする y = x + 1 (x…
プログラムを簡潔に書こうと思ってリスト内包表記をチャレンジした際に、 あれ？と思ったりしたことがあったので、まとめたいと思います。 Pythonにはリスト内包表記という方法で記述することができます。 リスト内包表記ってなに？ リスト内包表記を使うと…
pythonを使っていて、グラフを描きたい！ 今日はそんな時のためにあるライブラリmatplotlibを使って グラフの描画をまとめたいと思います。 そもそもmatplotlibってなに？ pythonでグラフを描画したいときに使うライブラリです。 下準備 今回はmatplotlibを…
昨日までTkinterを使って画面の作り方をまとめてきました。 rafu.hatenablog.jp ラベル テキストボックス(1行) ボタン rafu.hatenablog.jp ラジオボタン rafu.hatenablog.jp チェックボタン rafu.hatenablog.jp 今日からはGUIから入力したデータを入手する方…
昨日に引き続きTkinterを使ったGUIについてまとめます。 rafu.hatenablog.jp 今日は - チェックボタン についてまとめたいと思います。 チェックボタンを作ってみよう。 とりあえずチェックボタンを作ってみましょう。 チェックボタンを作ってみた #tkinter…
昨日に引き続きTkinterを使ったGUIについてまとめます。 rafu.hatenablog.jp 今日は、 ラジオボタン の使い方をまとめたいと思います。 ラジオボタンを作ってみよう。 とりあえずラジオボタンを作ってみましょう。 ラジオボタンを２つ作ってみた #tkinterを…
昨日に引き続きTkinterを使ったGUIについてまとめます。 rafu.hatenablog.jp 今日は、 ラベル テキスト（１行の） ボタン の使い方をまとめたいと思います。 まずは３つとも入れた画面を作ってみよう 全部入れてみました プログラムは以下の通り。 #tkinter…
pythonでGUI！というと、いくつか出てくると思いますが、 標準ライブラリに入っているTkinterをまとめたいと思います。 下準備 標準ライブラリに入っているので、特にありません。 実際画面を作ってみよう。 #tkinterをインポート import tkinter #ウィンド…
DataFrameのデータを使って集計をしたいときに使うメソッドをまとめたいと思います。 下準備 まずはDataFrameを作成します。 import pandas as pd data = {"name":["aaa","bbb","ccc"],"age":[18,20,22],"add":["Tokyo","Osaka","Nagoya"],"English":[80,85,…
今までDataFrameへのデータの入出力をまとめてきました。 ここからは、特定の行や列のデータの取得を行ってみたいと思います。 データの取得方法は以下の通り iloc（インデックスの位置を使う） loc（ラベル名を使う） など... 下準備・・・その前に まずは…
先日の続きで、 rafu.hatenablog.jp 列をDataFrame同士で結合させる方法をやってみたいと思います。 DataFrame同士をくっつける（列を結合）とは？ dfのイメージ図 name age add aaa 18 Tokyo bbb 20 Osaka ccc 22 Nagoya df2のイメージ図 English math 80 9…
今回はDataFrameでの列の追加をまとめていきたいと思います。 下準備 元データとなるdfを準備します。 import pandas as pd data = {"name":["aaa","bbb","ccc"],"age":["18","20","22"],"add":["Tokyo","Osaka","Nagoya"]} #dfにdataをいれる df = pd.DataF…
これからDataFrameにデータを追加する方法をまとめていきたいと思います。 まずは行の追加から。 下準備 元データとなるdfを準備します。 import pandas as pd data = {"name":["aaa","bbb","ccc"],"age":["18","20","22"],"add":["Tokyo","Osaka","Nagoya"]…
先日の↓ rafu.hatenablog.jp 続きです。 dfについての確認 昨日のプログラミンングで使った dfとdf_newについてのおさらい。 import pandas as pd data = {"name":["aaa","bbb","ccc"],"age":["18","20","22"],"add":["Tokyo","Osaka","Nagoya"]} #dfにdata…
