今回はベアボーンのMinisforum AI X1 PROにUbuntu 24.04.3をインストールし、さらにROCm 6.4.4とllama.cppを組み合わせてLLMを高速に動作させます。 ミニPCでLLM 筆者はこれまで、主にディスクリートGPU（グラフィックボード、以下dGPU）でLLMを動作させていましたが、昨今はミニPCで使用することも当たり前になりました。ミニPCとなれば当然統合GPU（CPU/SoCに内蔵しているGPU、以下iGPU）です。Ryzen AI Max 300シリーズが性能としては最高峰で、GMKtek EVO-X2やMinisforum MS-S1 MAXなど各社から搭載PCが発売されていますが、価格が高いのでなかなか手が出ません。 性能は1ランク落ちるものの、Ryzen AI 300シリーズ搭載であればベアボーンモデルもあるAI X1 PROであれば、まだ
こんにちは、たねやつです。 これまでの記事で、LM Studioを使ってローカルLLMとチャットする方法や、モデルの設定について解説してきました。 今回は、LM Studioが持つ非常に強力な機能、「ローカルAPIサーバー」に焦点を当てます。この機能を使いこなせば、自作のプログラムや他のツールとローカルLLMを連携させ、AIを活用した独自のワークフローを構築できます！ 前の記事 この記事でできること ローカルサーバー機能とは？ サーバーの起動と設定 curlでAPIを叩いてみる Pythonから接続する 他のツールとの連携 最後に 次の記事 前の記事 www.taneyats.com この記事でできること LM Studioのローカルサーバー機能が理解できる ローカルAPIを起動し、テストできるようになる PythonプログラムからローカルLLMを呼び出せるようになる 他のツールとの連携の
さあそしてPerplexityのように、ネットを勝手に探して記事を要約してくれるようにするためには、SerperというAPIを使う必要がある。Serperはしばらく無料で使えるので気に入ったら金を払えばよろしい。 次に、LM Studioを立ち上げてJan-V1をダウンロードしておく。 さらにMCPの設定をする。 右端のProgramの「Edit mcp.json」で編集すればOK mcpServersのプロパティのところにこんな感じで入れる { "mcpServers": { "github.com/marcopesani/mcp-server-serper": { "command": "npx", "args": [ "-y", "serper-search-scrape-mcp-server" ], "env": { "SERPER_API_KEY": "ここにSerperのAPI
やってきましたね。PCユーザーたちがMacユーザーを羨望の眼差しで見るときが。 OpenAIが公開したChatGPTのオープンソース版「gpt-oss」。その2つのモデルであるgpt-oss-20bとgpt-oss-120bは、それぞれ16GB以上、80GB以上のVRAMを持つプロセッサが必要です。 下位モデルのgpt-oss-20bはChatGPT o3-miniと、上位のgpt-oss-120bはo4-miniと同等の結果を出すとしています。 つまり、世界で最も使われているLLMの、実力的にも十分なモデルが、ローカルマシンで動くのです。 しかし、推論には高性能なGPUが必要。16GB以上のVRAMを持つGPUならNVIDIA製ボードがいくらでもありますが、120bを動かせる80GB以上のVRAMを積んだGPUは、現行モデルでなくても数百万円はしますし、そもそも希少なものなので手に入れる
1895年、フランスのリュミエール兄弟がシネマトグラフ（映画の原型となる技術）を発明し、映画の普及が始まったばかりの頃。兄弟は自ら映画制作を手掛け、完成した作品の上映会を開催していた。そうして公開された映画の1本に、有名な「列車の到着（ラ・シオタ駅への列車の到着）」がある。 長さはたった50秒間で、画面奥から手前に向かって列車が迫ってくるというシンプルな映像だったが「動く写真」というメディアを見たことのなかった観客たちは、驚いて逃げ惑ったという。 ただしこれは誇張された逸話らしく、観客たちは確かに驚いただろうが、パニックまで起きたという記録は無いそうだ。むしろリュミエール兄弟や初期の興行主たちが、この「パニック伝説」を宣伝材料として利用した可能性も指摘されている。 真偽はいずれにせよ、情報を伝達する「メディア（媒体）」についてイノベーションが起きたとき、私たちがその新たなメディアの持つ性質
ローカルLLM実行環境LM Studio、企業・組織での商用利用を無料に Element Labsは2025年7月8日、同社が提供しているローカルLLM実行環境「LM Studio」を企業利用においても無料で使えるように方針を変更したことを発表した。 LM Studio is free for use at work - LM Studio Blog LM Studio is now free for use at work. Starting today, it no longer necessary to get a separate license to use LM Studio for work. No need to fill out a form or contact us. You and your team can just use the app! LM Stu
特許実務相談相手としてどのテキスト生成AIが優れているかを調査するため代表的なテキスト生成AIであるChatGPT 4o、ChatGPT o3、Claude 3.7、Cemini 2.5pro、欧州特許庁ガイドライン学習済NotebookLMに以下の質問をしてみました。 「欧州特許実務について質問です。クレームで10～20ｗｔ％という数値範囲が特定されています。一方で引用文献には15～30ｗｔ％という数値範囲が開示されています。この場合欧州特許庁はクレームの主題がこの引用文献に対して新規であると判断しますか？」 ちなみにこの質問に対する回答は「No」になります。つまりこのクレームの主題はこの引用文献に対して新規性を有しません。理由は欧州ではクレームされた数値範囲が公知の数値範囲と一部重複する場合，公知の数値範囲の端点によって新規性が否定されるからです（過去の記事「欧州ではクレームされた数値
はじめにOllamaで大規模言語モデルQwen3が利用可能になったので利用してみました。日本語も公式対応しています。 ただし、筆者の主力GPUであるRTX 3060はFramepack「叡智」版のテストに利用しているので、GTX 1660ti+1650上でのQwen3 8B版の動作確認です。 上記ページをQwen3 8B版で日本語要約しました。 Thought for 22 seconds このドキュメントは、Qwenチームが最新の大規模言語モデル「Qwen3」を発表した内容をまとめています。以下に要約します： 【モデル概要】 Qwen3は、2350億パラメータの大規模モデル（Qwen3-235B-A22B）と、300億パラメータのMoEモデル（Qwen3-30B-A3B）を含むファミリーです。また、4B、8B、14B、32Bなど、さまざまなサイズの密集型モデルも提供され、すべてApach
急速に進化する大規模言語モデル（LLM）を、視覚的に理解しながら実践的に学べるハンズオンガイド。本書では、Jupyter Notebookやクラウド上で実際にモデルを動かしながら学ぶことができます。大規模言語モデルに欠かせないTransformerの仕組みをはじめ、要約、セマンティック検索、テキスト分類、クラスタリング、RAG（検索拡張生成）といった技術も、図解とともに直感的に理解できます。豊富なコード例と既存ライブラリの活用法を通じて、直感を重視したアプローチでLLMを学びたい読者に最適な一冊です。 賞賛の声 訳者まえがき まえがき 第I部 言語モデルの理解 1章 入門大規模言語モデル 1.1 言語AIとは？ 1.2 言語AIの近年の歴史 1.2.1 Bag-of-Wordsによる言語の表現 1.2.2 埋め込みによる言語の表現 1.2.3 埋め込みの種類 1.2.4 注意機構による文脈
Redditに「VRAM足りないとき一部のレイヤーをCPUに任せるんではなく、レイヤー全部をGPUに載せてレイヤー内部のFFNだけCPUに持っていったら速くなった、なんでこれが標準じゃないんだ」というのがあったので、おうちのRTX 4060 Ti 16GBで試してみたら微妙に速くなりました。 https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7/dont_offload_gguf_layers_offload_tensors_200_gen/ Qwen3 30B A3Bで試してみる こういった指定がOllamaやLM Studioではできないので、今回はKoboldCPPというので試してます。 https://github.com/LostRuins/koboldcpp KoboldCPPでは実用が厳しいので、llama.cppで試すほう
Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とありそうな出力です。さすがにちょっと込み入ったものだと4oだけど。 1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。 解説動画も撮りました。 週間ニュースのまとめはじめました。 サイズとしては0.6B, 1.7B, 4B, 8B, 14B, 32Bと、MoEモデルの30B-A3B, 235B-A22Bです。 30B-A3Bが賢いというベンチマークだけど、コーディング用途だと14Bや32Bのほうがいいかも。MacならMLXで30B-A3Bは めちゃ速くていいけど。という感じでどのサイズにも
第2のDeepSeekショック？ オープンな中国LLM「Qwen3」シリーズが破格の性能で話題 最大モデルはOpenAI o1やGemini 2.5 Proに匹敵、たった4BでもGPT-4oレベルに 中国Alibabaが4月29日（現地時間）に発表した、大規模言語モデル「Qwen」の最新版となる「Qwen3」シリーズが話題だ。フラッグシップモデルの「Qwen3-235B-A22B」は「DeepSeek-R1」の半分未満のパラメータ数ながら、OpenAIのo1やo3-mini、GoogleのGemini 2.5 Proなど他のトップモデルと並ぶ性能を達成したという。「Qwen3-4B」は小さなモデルでありながらも「GPT-4o」を多くの項目で上回るとしている。 公開した全てのモデルがオープンウェイトであるため、フラグシップの235B-A22B以外はデスクトップ向けハイエンドGPUなどで動作さ
3ヶ月経って、いくつか新しいモデルが登場したことでごっそり事情が変わりました。 ChatGPT Pro使ってましたが解約しました。o3が登場したらまた考えます。一時期解約していたGemini Advanced（Google AI Oneプレミアム？）を契約しなおしました。Claudeの年契約をしたんですがすこーし後悔しています。 追記: Gemini 2.5 Pro は今までのGemini シリーズとは明確に違うコメントとかでGeminiアレルギーの人が多そうなので追記します。実際のところ僕もそうでしたよ。過去のGeminiは、特に1.5 Proが論外なくらいハルシネーションも多く馬鹿で、使い物にならないおもちゃでした。それは事実です。2.0 Proで状況が変わり始めたものの実験モデルが続いてて、結局コイツの真価がよくわからんってなってました。 Gemini 2.5 Proを触ったことがな
「毎月のシフト作成、いい加減ラクしたい…」 そう感じている方は多いはず。スタッフの希望、公平性、連続勤務禁止… 複雑なルールをクリアするシフト表作りは、本当に骨が折れますよね。 これまでも大規模言語モデル（LLM）にシフト作成を手伝わせる試みはありましたが、「惜しいけど、結局手直しが必要…」というケースも少なくありませんでした。 初期のChatGPTによる取り組みはこちら しかし、LLMの性能技術は驚異的なスピードで進化しています。特に最新のGeminiモデルであるGemini 2.5 Proの登場により、シフト作成のような複雑なタスクの自動化精度が格段に向上し、"ほぼ修正不要"なレベルの下書き作成が現実のものとなりつつあります。（タスクが複雑なので個人的にこれをLLMのベンチマークの1つとしています） 今回は、AIに高精度なシフト表を作らせるためのプロンプト（以前のものから改良あり）と、
SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金
Claude 3.7 Sonnetのデザインセンスは極めて高く、イケてる図解やスライドをポン出しで生成することができます。以下のような投稿を見て感動し、Claudeに課金して、ワクワクしながら試してみた方も多いのではないでしょうか。 Claude 3.7 Sonnetの図解デザイン能力、あまりにもすごい。 ㅤ バズった「グラレコプロンプト」を参考に作成した、 ㅤ 幅広く使える有益デザインプロンプト10選をまとめました👇🧵 pic.twitter.com/al5n7Udf3c — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 9, 2025 しかし残念なことに、生成された図解の編集は困難を極めます。Claudeに指示を出すことである程度は修正できるものの、言うことを中々聞いてくれずトークン切れにあったり、時間がかかりすぎて時短になっていなかったり、自
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く