zhack

生成AI・LLM

エンベディングとは?AIが意味を測るベクトル入門

エンベディング(埋め込み)とは、文章や画像を「意味の座標」であるベクトルに変換する技術です。この記事では、ベクトル検索・セマンティック検索やRAGの裏側で埋め込みがどう使われるのかを、初心者向けにやさしく解説します。
生成AI・LLM

トークナイザーとは?日本語のトークンが多い理由

トークナイザーとは、AIが文章をトークンという単位に区切って理解する仕組みです。BPEやSentencePieceの考え方から、なぜ日本語は英語よりトークン数が多くなるのかまで、初心者向けにやさしく解説します。
生成AI・LLM

ハルシネーションとは?AIが嘘をつく理由と対策

生成AIが自信満々に間違った情報を出す「ハルシネーション」。次の単語を予測する仕組みや学習データの限界など原因をやさしく解説し、プロンプトの工夫やRAGといった対策まで初心者向けにまとめました。
スポンサーリンク
生成AI・LLM

プロンプトエンジニアリングとは?頼み方で結果が変わる理由

プロンプトエンジニアリングとは、AIへの「頼み方」を工夫して狙った回答を引き出す技術です。なぜ頼み方で結果が変わるのかを、文脈を知らない優秀な新人への指示にたとえて解説。推論モデルで不要になるのか論争も紹介します。
生成AI・LLM

AIエージェントとは?指示待ちAIから自分で動くAIへ

AIエージェントとは何かを予備知識ゼロの初心者向けに解説。チャットAIとの違いを「指示待ち社員 vs 段取りする社員」の比喩で整理し、知覚→計画→行動という自律ループやLLM・ツール・メモリの仕組みまで図解します。
生成AI・LLM

単語ベクトルとは?直感でわかる入門

単語ベクトルとは何かを数式なしで解説。会話と図でWord2Vecの仕組みをやさしく説明。機械学習を学び始めた人が最初に読む自然言語処理の基礎記事。
機械学習の基礎

データの前処理とは?AI開発の8割を占める下ごしらえ

AIプロジェクトの8割を占めるといわれるデータの前処理を初心者向けに解説。欠損値・外れ値の処理、正規化、特徴量エンジニアリングまで、モデルの精度を左右する下ごしらえの実際を紹介します。
生成AI・LLM

LoRAで学ぶ「効率よくAIを鍛える」技術–フル学習との違いを図解

ファインチューニング、やりたいのに重すぎ問題「ファインチューニングに挑戦しようと思ったんだけど、GPUメモリが全然足りないって言われて……」「あるある。7Bのモデルをフルでファインチューニングしようとすると、80GB以上のGPUメモリが必要...
機械学習の基礎

過学習とは?丸暗記でわかる機械学習の落とし穴

過学習(オーバーフィッティング)を「テスト前の丸暗記」にたとえて初心者向けに解説。起きる原因、学習曲線での見分け方、正則化・ドロップアウト・早期終了などの対策までまとめて理解できます。
機械学習の基礎

CNNを窓拭きで理解する–画像認識AIが「見ている」もの

畳み込みニューラルネットワーク(CNN)のフィルタ・プーリング・特徴マップを、窓を小さな雑巾で拭いていく動作に例えて視覚的に解説する。