SEワンタンの独学備忘録

IT関連の独学した内容や資格試験に対する取り組みの備忘録

独学

【Docker】入門⑪docker-machine@VirtualBox環境構築と基本コマンド

久しぶりのDocker。やるか迷ったけどDocker-Machineについて少しいじくります。 Docker-Machineを使用できるようにするまでに紆余曲折、うまくいかないこともいろいろありましたがちゃんとできる環境が見つかりました。 Docker-Machine Docker-Machineについ…

【機械学習】入門⑬ 2層ニューラルネットワークモデルをPythonで実装①

前回考えたニューラルネットワークモデルをPythonで実装することによりイメージをつかみます。 イメージ概要 データの準備の実装 データの説明 データの保存 訓練データとテストデータに分割 データのプロット ニューラルネットワークの実装 シグモイド関数…

【機械学習】入門⑫ ディープラーニングとニューラルネットワークについて調べてみる

今回から名前はよくきくディープラーニングに入ります。 まずはイメージをつかむところから。 pythonによる実装には入れませんでしたが、今後、pythonによる実装を行う予定です。 ディープラーニング(深層学習) ニューロンモデル ニュートラルネットワーク…

【GCP】GCE(サーバ)を立てて利用する

とりあえずサーバ利用できる状態までは先にやってみる。↓前回(アカウントの作成)www.wantanblog.com 今回の目指すところ GCEについて GCEを利用開始する GCEインスタンスの生成 ブラウザから操作確認する 外部SSH(teraterm)での接続 鍵の生成(teraterm…

【GCP】GCPの個人利用を初めてみよう(2020年5月)

GCPへの登録を行います。 前書き 無料枠について 12 か月間の無料トライアル Always Free GCPの無料トライアルを開始する アカウント作成 プロジェクトとユーザ ユーザ運用の設計 プロジェクトの作成 Googleアカウントの二段階認証(MFA)を設定する プロジ…

【機械学習】入門⑫ 分類-2次元入力3クラス分類- Pythonで学ぶ「教師あり学習」

前回の2次元入力の続き。www.wantanblog.com データセットの準備 scikit-learn アヤメの品種データ データセットの準備 数学的な導出 ロジスティック回帰モデル 平均交差エントロピー誤差 勾配法による解の導出 Pythonによる実装 実装の全容 ロジスティック…

【機械学習】入門⑪ 分類-2次元入力2クラス分類- Pythonで学ぶ「教師あり学習」

分類の続き。 2次元入力2クラスの分類の問題設定 問題提起 データの設定(PG上) データの散布表示 ロジスティック回帰モデル 3D曲線モデルの描画 等高線による図示 交差エントロピー誤差

【Docker】入門⑩ Docker Composeによる複数コンテナの運用コマンド一覧

準備 Docker Composeのインストール 動作確認用のdocker-compose.yml DockerのバージョンとCompose fileのバージョン Docker Composeの運用系コマンド Docker Composeのバージョン確認 コンテナの生成起動(up) コンテナの状態確認(ps) コンテナのログ確…

【Docker】入門⑨ Docker Composeによる複数コンテナ管理(docker-compose.yml)

今回はDocker Composeの基本コマンドについてさらっと。 複数コンテナの管理 web3層アーキテクチャモデル Docker Compose docker-compose.yml の記述方法 image:イメージ指定 build:イメージのビルド command:コンテナ内のコマンド実行 links:コンテナ間の…

【機械学習】入門⑩ 分類-勾配法による決定境界の算出- Pythonで学ぶ「教師あり学習」

ひさしぶりになりすぎたので、過去記事をちゃんと読み返してからの再開となりました。 ↓↓前回www.wantanblog.com 前回までの内容(復習) 問題提起 確率表現と最尤推定 ロジスティック回帰と交差エントロピー誤差 勾配法によるパラメータの算出 勾配法の導入…

【Docker】Dockerがサーバ容量をひっ迫している(初心者向け)

Dockerの勉強をしていたら遭遇した。エラーエラーで本流の方が進まない!!! 業務で使用するような人にはすでに理解してほしいような内容ですが、勉強中の場合はハマる可能性もあると思います。 発生エラー 状態確認と原因 容量の確認 対応 暫定対応 予防策…

【MongoDB】MongoDBへの外部接続環境を整える(A5M2編)

MongoDBに対して接続できるように環境を整えます。 前提としては下記記事のようにMongoDBがサーバにインストールされている状態となります。www.wantanblog.com 完成イメージ 事前準備 MongoDB管理ユーザの登録 confファイルの設定 FireWallの設定 SELinuxの…

【MongoDB】CentOSへのMongoDBインストールと動作確認

他の作業への下準備的なもの。 まずは普通にサーバにインストールして使用できる状態にしてみる。 MongoDB MongoDBとRDBの構造 環境前提 MongoDBのインストール パッケージリポジトリの構築 インストール MongoDBの動作確認 起動 サーバ起動時の自動起動 Mon…

【機械学習】入門⑨ 分類-ロジスティック回帰- Pythonで学ぶ「教師あり学習」

前回の続き。 それっぽくはなりますが、単純に難しくなってきます。↓前回 www.wantanblog.com ロジスティック回帰 ロジスティック回帰 ロジスティック回帰とシグモイド関数 ロジスティック回帰モデル 交差エントロピー誤差 交差エントロピー誤差 交差エント…

【機械学習】入門⑧ 分類-導入編(確率と最尤推定)- Pythonで学ぶ「教師あり学習」

やっと次章に進みました。今回から機械学習の教師あり学習における「分類」を扱っていきます。 分類 問題設定 データセット準備 問題設定 確率表現と最尤推定 確率表現 最尤推定 数学的に考える最尤推定

【Docker】入門⑧ Dockerfileでの環境、ファイル設定

環境設定 環境変数の設定 作業ディレクトリの指定 ユーザの指定 変数の設定 ポートの設定 命令の検証確認 作成したDockerfile 実行と確認 ファイル操作 ファイルの追加 ファイルのコピー ボリュームのマウント

【機械学習】入門⑦ モデルを生成してみる Pythonで学ぶ「教師あり学習」 回帰編

回帰編の基本は今回で完了する予定です。 モデルを考えてみる データセットに対する最適なグラフの形は? オリジナルモデルの作成 オリジナルモデルの実装 ライブラリscipy.optinize モデル関数 モデルのグラフ表示 MSEの導出 最適化パラメータの導出 結果と…

【Docker】入門⑦ Dockerfileでのコマンド/デーモン実行方法

前回の続きでDockerfileについて。 Dockerfileでのコマンド実行(RUN命令) Shell形式での実行 Exec形式での実行 デーモンの実行(CMD命令) Shell形式での実行 Exec形式での実行 ENTRYPOINT命令 Shell形式での実行 Exec形式での実行 ONBUILD命令 webサーバ…

【機械学習】入門⑥ オーバーフィッティング(過学習)について Pythonで学ぶ「教師あり学習」 回帰編

今回は「過学習」について学びます。モデルの検証方法としてのホールドアウト検証法と交差検証法を用いて最適なパラメータや過学習となる地点の導出を試みます。

【Docker】入門⑥ 初めてのDockerfile どんなものか理解する

Dockerfile Dockerfileとは Dockerfileの作成 Dockerfileのビルドとイメージレイヤー Dockerfileのビルド Dockerイメージのレイヤー構造

【機械学習】入門⑤ 線形基底関数モデル Pythonで学ぶ「教師あり学習」 回帰編

ガウス関数を用いた線形基底関数モデルの実装をPythonで行います。データセットにはBoston house-prices (ボストン住宅価格データセット)を活用してみます。

【Docker】入門⑤ コマンドを用いたDockerイメージ操作の基本

基本コマンドの最終回。前提としては以下の記事と同様にインストールのみが完了している状態とします。 私はLinux(EC2)サーバ上にDockerをインストールしています。www.wantanblog.com Dockerイメージの操作 Dockerイメージの取得 Dockerイメージ一覧の表…

【Docker】入門④ コマンドを用いたDockerネットワークの基本操作

今回はネットワーク周りのコマンド。 ネットワーク関連コマンド ネットワーク一覧の表示 コンテナのネットワーク確認 ネットワークの作成 ネットワークへの接続 ネットワーク詳細の確認 ネットワークの削除

【Docker】入門③ コマンドを用いたDockerコンテナの基本操作

前回Linuxサーバ(EC2)上にDockerソフトをインストールしました。 今回はDockerコマンドを学習しながらいろいろ試し、コンテナ操作の基本を確認していきます。なので前提としては以下の記事と同様にインストールのみが完了している状態とします。www.wantan…

【機械学習】入門④ Pythonで学ぶ「教師あり学習」 回帰編(多次元モデル)

線形回帰モデルではこれまで最も基本的な一次元入力と二次元入力を扱ってみましたが、今回は多次元(N次元)線形回帰モデルを扱います。入力の次元数を限定しないことによって、本格的な活用も可能になってくるかと思います。 煩雑になってくるかもしれませ…

【Docker】sudoなしでDockerコマンドを実行する

インストール時にやりきれなかった部分を補足。↓インストール作業www.wantanblog.com sudoなしでDockerコマンドを実行する

【Docker】(超初心者向け)Dockerを初めて使用した際に発生したエラー対応

Dockerを初めてみようとしたのはいいものの実際に私が初めて使用したときに発生したものです。 ↓の記事。www.wantanblog.com エラーが起きれば理解が深まる。 学習のためにやっているうちは教科書通りに実行してエラーが起きたら喜んでいきましょう。 コンテ…

【Docker】入門② Linux(EC2)にDockerをインストールする

今回はDockerのインストールを行います。インストールだけなのでさらっといきなりインストールから入るのではなく、なんとなくでも概要を把握してからインストール作業を行うことで分かってくる部分もあるのではないかと思います。 Dockerのインストール Doc…

【機械学習】入門③ Pythonで学ぶ「教師あり学習」 回帰編(二次元入力のモデル)

前回まではX軸とY軸の二要素のみを扱ってきました。 二要素ならばそこまでがっつりやりこまなくてもなんとかなりましたが、あまり機械学習という感じもしませんでした。今回は入力が二要素の場合です。最終的には多数要素を扱いますが、回帰モデルも単純な一…

【Docker】入門① まずはDockerの概要をつかむ

結構前からDockerにやるやる言っていたDockerに触れていきたいと思います。 完全に初めての技術です。他のものと並行でやるので進みは極めて遅いと思われます。それはそうといろいろと入門、入門しているのはいいけど、しっかりと門の中まで入れているのだろ…