はじめに AWS UpdateでAmazon SageMaker Data Wranglerに画像の前処理機能が追加されました。 Data WranglerはAmazon SageMaker Studioの機能の一つで、データの前処理が行えるサービスです。 従来はファイルタイプとしてcsv, parquet, json, jsonl, orcに対応していたようですが、「image」が追加されました。 利用イメージは以下のようになります。 やってみる 「S3からインポート → 重複削除 → ノイズ付与 → S3にエクスポート」という流れを試してみます。 インポートするS3バケット内に同じ画像データを2枚用意しました。 この画像に処理を行い、エクスポートするまでを試してみます。 データインポート データソースをS3としてインポートします。File typeは「image」を選択しました。 イン
はじめに Pythonではじめる機械学習にて、自動特徴量選択の手法についてまとめられていた。 有用な特徴量だけを残して残りを捨てて、特徴量の数を減らすことで、汎化性能を向上することができる。 その基本的な戦略が下記の3つ。 単変量統計 個々の特徴量とターゲットとの間に統計的に顕著な関係があるかどうかを計算する。 個々の特徴量を個別に考慮する。そのため、他の特徴量と組み合わさって意味を持つような特徴量は捨てられる。 特徴量が多すぎてモデルを作ることができない場合や、多くの特徴量が全く関係ないと思われるような場合には、この手法が有効。 sklearn では、 SelectPercentile を用いる。 モデルベース特徴量選択 教師あり学習モデルを1つ用いてここの特徴量の重要性を判断し、重要なものだけを残す手法。 特徴量選択に用いる教師あり学習モデルと最終的に使う教師あり学習モデルと同じでなく
ARG 第7回Webインテリジェンスとインタラクション研究会 企画セッション２「不揃いなデータ達の分析を行う前のTips」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く