テクノロジー
Sakana AI、自己適応型言語モデルを実現する革新的手法「Transformer²」を発表
Sakana AIは17日、大規模言語モデル（LLM）に新たな適応能力を付与する画期的な手法「Transformer²」（トランスフォーマー・スクエアード）を発表した。この技術は、言語モデルが異なるタスクに効率的に適応で […]
Tech Product
Mistral 7B
別名: MISTRAL-7B
Overview
最終更新: 2026年7月5日Mistral 7Bは、フランスのMistral AI社がリリースした大規模言語モデルです。70億という比較的小規模なパラメータ数ながら、スライディング・ウィンドウ・アテンションなどの技術を採用することで、より大きなモデルに匹敵する性能を発揮するように設計されています。
Mentioned Articles
4 件-
-
テクノロジーNVIDIA、画像検索、音声認識機能などを追加したローカルAIチャットボットアプリ「ChatRTX」をリリース
NVIDIAは2月にNVIDIA GPUを使ってローカルでAIチャットボットを駆動させられる「Chat with RTX」のデモを公開したが、今回これをアップデートすると共に名称を改め、「ChatRTX」アプリとしてRT […]
-
テクノロジーMeta、新たなオープン大規模言語モデル「Llama 3」をリリース、GoogleのGemini 1.5を上回る性能を発揮
Metaは、次世代大規模言語モデル（LLM）である「Llama 3」をリリースした。同社によれば、現在リリースされているほとんどのAIモデルよりも優れた性能を発揮するとしており、近いうちにマルチモダリティとより多くの言語 […]
-
テクノロジーAIが「内なる独白」を行うようにしたところ、推論パフォーマンスが大幅に向上した
生成AIは使い方によっては便利な物だが、未だその出力は不安定な部分があり、時にデタラメを吐き出すなど問題が多い。“プロンプト・エンジニアリング”と呼ばれるような、大規模言語モデル（LLM）からの出力精度を上げる方法も数多 […]
External Mentions
10 件- arXiv Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
- arXiv Nonvolatile Charge-Domain Attention with HZO Ferroelectric Capacitors: A Simulation-Based Device-to-System Evaluation
- arXiv Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering
- arXiv Unlocking Public Catalogues: Instruction-Tuning LLMs for ICD Coding of German Tumor Diagnoses
- arXiv Can open source large language models be used for tumor documentation in Germany? -- An evaluation on urological doctors' notes
- arXiv Auto-Evolve: Enhancing Large Language Model's Performance via Self-Reasoning Framework
- Hacker News Representation Engineering: Mistral-7B on Acid
- Hacker News Show HN: NeuralFlow – Visualize the intermediate output of Mistral 7B
- Hacker News How we got fine-tuning Mistral-7B to not suck
- Hacker News I made an app that runs Mistral 7B 0.2 LLM locally on iPhone Pros