生成AI・LLM

生成AI・LLM

エンベディングとは?AIが意味を測るベクトル入門

エンベディング(埋め込み)とは、文章や画像を「意味の座標」であるベクトルに変換する技術です。この記事では、ベクトル検索・セマンティック検索やRAGの裏側で埋め込みがどう使われるのかを、初心者向けにやさしく解説します。
生成AI・LLM

トークナイザーとは?日本語のトークンが多い理由

トークナイザーとは、AIが文章をトークンという単位に区切って理解する仕組みです。BPEやSentencePieceの考え方から、なぜ日本語は英語よりトークン数が多くなるのかまで、初心者向けにやさしく解説します。
生成AI・LLM

ハルシネーションとは?AIが嘘をつく理由と対策

生成AIが自信満々に間違った情報を出す「ハルシネーション」。次の単語を予測する仕組みや学習データの限界など原因をやさしく解説し、プロンプトの工夫やRAGといった対策まで初心者向けにまとめました。
スポンサーリンク
生成AI・LLM

プロンプトエンジニアリングとは?頼み方で結果が変わる理由

プロンプトエンジニアリングとは、AIへの「頼み方」を工夫して狙った回答を引き出す技術です。なぜ頼み方で結果が変わるのかを、文脈を知らない優秀な新人への指示にたとえて解説。推論モデルで不要になるのか論争も紹介します。
生成AI・LLM

AIエージェントとは?指示待ちAIから自分で動くAIへ

AIエージェントとは何かを予備知識ゼロの初心者向けに解説。チャットAIとの違いを「指示待ち社員 vs 段取りする社員」の比喩で整理し、知覚→計画→行動という自律ループやLLM・ツール・メモリの仕組みまで図解します。
生成AI・LLM

単語ベクトルとは?直感でわかる入門

単語ベクトルとは何かを数式なしで解説。会話と図でWord2Vecの仕組みをやさしく説明。機械学習を学び始めた人が最初に読む自然言語処理の基礎記事。
生成AI・LLM

LoRAで学ぶ「効率よくAIを鍛える」技術–フル学習との違いを図解

ファインチューニング、やりたいのに重すぎ問題「ファインチューニングに挑戦しようと思ったんだけど、GPUメモリが全然足りないって言われて……」「あるある。7Bのモデルをフルでファインチューニングしようとすると、80GB以上のGPUメモリが必要...
生成AI・LLM

ファインチューニングとは–料理のレシピで理解するAIの「味付け直し」

ファインチューニングとは、膨大なデータで事前に学習済みの汎用AIモデルを、特定の業務や分野向けの専用データで追加学習させ、専門的に仕上げ直す技術である。ゼロからモデルを作るよりも必要なデータ量・計算コストが大幅に少なく、開発期間も格段に短縮...
生成AI・LLM

強化学習をゲームで掴む–AIが「試行錯誤」で賢くなる仕組み

「AlphaGoが囲碁の世界チャンピオンに勝った」「AIがAtariのゲームを人間より上手く攻略した」── そんなニュースを見て、「どうやって学習してるんだろう?」と気になった人、いますよね。今回はそんな疑問に、RPGのたとえを使いながらや...
生成AI・LLM

注意機構(Attention)を5分で掴む ─ 翻訳タスクで追う「どこを見るか」の仕組み

注意機構(Attention)とは、翻訳などのタスクで「入力文のどの単語に、どれだけ注目するか」をスコアで数値化し、その割合に応じて情報を混ぜ合わせることで、必要な文脈を動的に参照できる仕組みである。従来のRNNが固定サイズのカバンに情報を...