awesome-japanese-llm

llm-jpApache-2.0活跃维护

汇总日语大语言模型资源的清单,涵盖基础模型与生成式模型,方便快速查找和对比日语 LLM 生态。

日本語LLMまとめ - Overview of Japanese LLMs

暂无版本1,446star49fork同步于 2026-11-11 05:46 UTC

怎么上手

README 里没有找到可直接复制的安装命令

README 里没有找到可直接复制的安装命令,请到 README 或官方文档查看安装方式。

硬件要求按 README 说明

README 未说明

支持 Apple Silicon
下载:源码 zip·GitHub Releases(安装包)本站不镜像安装包

项目说明

由 README 自动翻译提炼

汇总公开的日语 LLM 与评测基准的清单,帮你快速查找模型和许可证

汇总日语大语言模型资源的清单,涵盖基础模型与生成式模型,方便快速查找和对比日语 LLM 生态。

核心能力

  • 按架构、公开年份、上下文长度、训练数据、开发方、许可证整理模型表格
  • 区分从零训练、MoE、多模态等类别,并附评测基准章节
  • 提供更易读的 Web 版页面,避免 GitHub 表格排版错乱
  • 通过 GitHub Issues 接受纠错与模型补充建议

容易踩的坑

部分模型采用非商用或厂商自定义许可证,并非都是开源许可;README 内容不保证完整与准确,信息可能过时;GitHub 上表格排版易错乱,建议看 Web 版

内容由模型根据 README 生成,可能不完整或不准确,以官方文档为准。看原文 README

最近发版

0 个版本

暂无 release 数据(可能没有发版,或尚未同步)。

用户点评

登录用户的真实使用记录,可按版本和硬件筛选
共 0 条

    还没有人点评。第一个说出真实体验的人最有价值。

    README 原文

    未翻译

    日本語LLMまとめ

    [ English | Français | 日本語 ]

    [!IMPORTANT] 📖 より読みやすいWeb版をご利用ください

    このREADMEの内容は、llm-jp.github.io/awesome-japanese-llm でより見やすい形式でご覧いただけます。表の表示崩れやレイアウトの問題を防ぐため、Web版の閲覧を推奨いたします。

    この記事は、一般公開されている日本語LLM(日本語を中心に学習されたLLM)および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。

    ::: warning 以下の点について、あらかじめご理解とご了承をお願いいたします

    1. 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また最新の情報を常に提供できるとは限りません。
    2. 一部の情報は、推測や個々の利用者の解釈にもとづくものである場合があります。そのため、全ての読者にとって必ずしも正確であるとは限りません。
    3. 本記事に記載されているモデルの多くは、MIT や Apache-2.0 といったオープンソースライセンスが適用されています。しかしながら、一部のモデルには、非営利限定のライセンス(例:CC BY-NC-SA 4.0)や開発元特有のライセンスが適応されており、これらは必ずしもオープンソースとは言えない可能性がある点にご注意ください。
    4. 個人が開発したモデルに関する記述では、作成者の敬称は省略させていただいております。 :::

    この記事の管理は GitHub で行っています。記事の間違いを発見した場合、あるいはモデルの追加提案を行いたい場合は、GitHub Issues 経由で報告していただけますと幸いです。

    ::: details 目次 {open} [[toc]] :::

    テキスト生成に主に使うモデル

    画像を含むテキスト生成モデルはこちら

    スクラッチ学習モデル

    汎用
    公開年アーキテクチャ入出力で扱えるトークン数学習テキスト開発元ライセンス / 利用規約
    Sarashina2-8x70B2024MoE(8x70b (465b))8,192Sarashina2 (70B) に対して Sparse Upcycling で学習SB IntuitionsSarashina Model NonCommercial License
    LLM-jp-3 172B2024Llama(172b, 172b-instruct2, 172b-instruct3)4,096事前学習: llm-jp-corpus-v3(計 2.1T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, magpie-sft-v1.0, Daring-Anteater, FLAN, ichikara-instruction-format, AutoMultiTurnByCalm3-22B, ramdom-to-fixed-multiturn-Calm3, wizardlm8x22b-logical-math-coding-sft-ja, wizardlm8x22b-logical-math-coding-sft_additional-ja, Synthetic-JP-EN-Coding-Dataset-567kDPO (instruct3 only): aya-ja-evol-inst, ac-self-inst大規模言語モデル研究開発センター事前学習済みモデル: LLM-jp-3 172B Terms of Use事後学習済みモデル: llm-jp-3-172b-instruct3利用許諾契約
    LLM-jp-3 172B beta22024Llama(172b-beta2, 172b-beta2-instruct2)4,096事前学習: llm-jp-corpus-v3の一部(計 1.4T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, magpie-sft-v1.0, Daring-Anteater, FLAN, ichikara-instruction-format, AutoMultiTurnByCalm3-22B, ramdom-to-fixed-multiturn-Calm3, wizardlm8x22b-logical-math-coding-sft-ja, wizardlm8x22b-logical-math-coding-sft_additional-ja, Synthetic-JP-EN-Coding-Dataset-567k大規模言語モデル研究開発センターLLM-jp-3 172B beta2 Terms of Use
    LLM-jp-3 172B beta12024Llama(172b-beta1, 172b-beta1-instruct)4,096事前学習: llm-jp-corpus-v3の一部(計 0.7T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, Dolly Dataset, OASST1, OASST2, Aya Dataset, ichikara-instruction-format, Daring-Anteater, FLAN大規模言語モデル研究開発センターLLM-jp-3 172B beta1 Terms of Use
    LLM-jp-3 172B alpha2024Llama(172b-alpha1, 172b-alpha1-instruct, 172b-alpha2, 172b-alpha2-instruct)4,096事前学習: llm-jp-corpus-v3の一部(alpha1: 計 0.7T トークン, alpha2: 計 1.4T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, Dolly Dataset, OASST1, OASST2, Aya Dataset, ichikara-instruction-format, Daring-Anteater, FLAN大規模言語モデル研究開発センターApache 2.0
    Stockmark-2-100B-Instruct-beta2025Llama(100B-Instruct-beta, 100B-Instruct-beta-AWQ)4,096事前学習: 計 1.5T トークンInstruction TuningDPOストックマークMIT
    Stockmark-100b2024Llama(100b, 100b-instruct-v0.1)4,096事前学習: RedPajama, 日本語 Wikipedia, Japanese mC4, Japanese CommonCrawl, 日本語特許, Stockmark Web Corpus(計 910B トークン)Instruction Tuning (LoRA): ichikara-instructionストックマークMIT
    PLaMo-100B-Pretrained2024Llama[^22](100b)4,096事前学習: Japanese CommonCrawl, RefinedWeb, 独自のデータセット(計: 2.0T トークン)Preferred Elements (Preferred Networks)PLaMo Non-Commercial License
    LLM-jp-3.12025Llama/MoE(8x13b (73b), 8x13b (73b)-instruct4, 13b, 13b-instruct4, 1.8b, 1.8b-instruct4)4,096事前学習: llm-jp-corpus-v3(計 2.5T トークン)継続事前学習: インストラクション・レスポンスペア(計 90B トークン)SFT + DPO大規模言語モデル研究開発センターApache 2.0
    LLM-jp-3 MoE2025MoE(8x1.8b (9.3b), 8x1.8b (9.3b)-instruct2, 8x1.8b (9.3b)-instruct3, 8x13b (73b), 8x13b (73b)-instruct2, 8x13b (73b)-instruct3)4,096LLM-jp-3 (1.8b, 13b) に対して Drop-Upcycling で学習大規模言語モデル研究開発センターApache 2.0
    Sarashina22024Llama(7b, 13b, 70b)7b, 13b: 4,09670b: 8,192事前学習: Japanese Common Crawl, SlimPajama, StarCoder(計 2.1T トークン)SB IntuitionsMIT
    Sarashina12024GPT-NeoX(7b, 13b, 65b)2,048事前学習: Japanese Common Crawl(計 1T トークン)SB IntuitionsMIT
    Tanuki-8×8B2024MoE (47b)(v1.0, v1.0-AWQ, v1.0-GPTQ-4bit, v1.0-GPTQ-8bit, v1.0-GGUF)4,096事前学習: 様々な Web 上のデータ, 合成データ(計 1.7T トークン)SFT, DPO: 様々な合成データ [^19]松尾研LLM開発プロジェクトApache 2.0
    LLM-jp-4 33B2026Llama(33b-base, 33b-thinking, 33b-thinking-gguf)65,536事前学習 + 中間学習: llm-jp-corpus-v4.1, llm-jp-corpus-midtraining-v2(計 11.7T トークン)SFT: llm-jp-4-thinking-sft-dataDPO: llm-jp-4-33b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    LLM-jp-4.1 33B2026Llama(33b-thinking, 33b-thinking-gguf)65,536LLM-jp-4 33B に対し事後学習SFT: llm-jp-4.1-thinking-sft-dataDPO: llm-jp-4.1-33b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    ELYZA-Thinking-1.0-llm-jp-4-33b2026Llama(33b)65,536llm-jp-4-33b-base に対し中間学習、SFT、RLVR を実施中間学習: 数学・コード・STEM問題の日本語化、エージェントデータの日本語化SFT: 思考過程付き合成データ、複雑な指示データ、日本語 Wikipedia・Wikidata からの知識データRLVR: 数学・コード・日本語知識・複雑な指示追従・ツール利用の検証可能問題ELYZAApache 2.0
    LLM-jp-4 32B-A3B2026Qwen3 MoE(32b-a3b-base, 32b-a3b-thinking, 32b-a3b-thinking-gguf)65,536事前学習 + 中間学習: llm-jp-corpus-v4.1, llm-jp-corpus-midtraining-v2(計 11.7T トークン)SFT: llm-jp-4-thinking-sft-dataDPO: llm-jp-4-32b-a3b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    LLM-jp-4.1 32B-A3B2026Qwen3 MoE(32b-a3b-thinking, 32b-a3b-thinking-gguf)65,536LLM-jp-4 32B-A3B に対し事後学習SFT: llm-jp-4.1-thinking-sft-dataDPO: llm-jp-4.1-32b-a3b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    ELYZA-Thinking-1.0-llm-jp-4-32b-a3b2026Qwen3 MoE(32b-a3b)65,536llm-jp-4-32b-a3b-base に対し中間学習、SFT、RLVR を実施中間学習: 数学・コード・STEM問題の日本語化、エージェントデータの日本語化SFT: 思考過程付き合成データ、複雑な指示データ、日本語 Wikipedia・Wikidata からの知識データRLVR: 数学・コード・日本語知識・複雑な指示追従・ツール利用の検証可能問題ELYZAApache 2.0
    llm-jp-4-kappa2026Qwen3 MoE(32b-a3b-v0.1)65,536LLM-jp-4 32B-A3B (thinking) に対して以下を実施SFT: Nemotron-Cascade-2-SFT-Data, OpenMathReasoning, OpenCodeReasoning, Nemotron-SFT-Competitive-Programming-v2, llm-jp-4-thinking-sft-data など (計 443,747 件)GRPO (数学): AceReason-Math から選別した 10,999 問GRPO (コード): SYNTHETIC-2 から選別した約 3.1k 件Third IntelligenceApache 2.0[^29]
    PLaMo 32025Gemma ベースのアーキテクチャ(2b-base, 8b-base, 31b-base)4,096事前学習: 英語、日本語、コード、多言語(2b: 200B トークン, 8b: 1T トークン, 31b: 3T トークン)Preferred NetworksPLaMo community license
    Way-PLaMo-3-8b-chat2025PLaMo 3ベース (8b-chat)4,096Instruction Following SFT: Alpaca (51.7K), Dolly-15k-ja (15K)個人 (WayBob)PLaMo community license
    CyberAgentLM3 (CALM3)2024Llama(22b-chat, 22b-chat-selfimprove-experimental)16,384不明(計 2.0T トークン)サイバーエージェントApache 2.0
    LLM-jp-3 13B instruct32025Llama(150m, 150m-instruct2, 150m-instruct3, 440m, 440m-instruct2, 440m-instruct3, 980m, 980m-instruct2, 980m-instruct3, 1.8b-instrcut2, 1.8b-instruct3, 3.7b-instruct2, 3.7b-instruct3, 7.2b-instruct2, 7.2b-instruct3, 13b-instruct2, 13b-instruct3)4,096事前学習: llm-jp-corpus-v3(計 2.1T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, magpie-sft-v1.0, Daring-Anteater, FLAN, ichikara-instruction-format, AutoMultiTurnByCalm3-22B, ramdom-to-fixed-multiturn-Calm3, wizardlm8x22b-logical-math-coding-sft-ja, Synthetic-JP-EN-Coding-Dataset-567kDPO (instruct3 only): aya-ja-evol-inst, ac-self-inst大規模言語モデル研究開発センターApache 2.0
    LLM-jp-3 13B2024Llama(1.8b, 1.8b-instruct, 3.7b, 3.7b-instruct, 7.2b, 7.2b-instruct, 13b, 13b-instruct)4,096事前学習: llm-jp-corpus-v3(計 2.1T トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, FLAN, ichikara-instruction-format, AutoMultiTurnByCalm3-22B, ramdom-to-fixed-multiturn-Calm3, wizardlm8x22b-logical-math-coding-sft_additional-ja, Synthetic-JP-EN-Coding-Dataset-567k大規模言語モデル研究開発センターApache 2.0
    llm-jp-3-3.7b-instruct-EZO2024Llama(3.7b-instruct-EZO-Common, 3.7b-instruct-EZO-Humanities)4,096LLM-jp-3 (3.7B) に対して追加学習AxcxeptApache 2.0
    LLM-jp-13B v2.02024Llama(13b-v2.0, 13b-instruct-full-dolly-ichikara_004_001_single-oasst-oasst2-v2.0, 13b-instruct-full-ac_001-dolly-ichikara_004_001_single-oasst-oasst2-v2.0, 13b-instruct-full-ac_001_16x-dolly-ichikara_004_001_single-oasst-oasst2-v2.0)4,096事前学習: llm-jp-corpus-v2(計 260B トークン)Instruction Tuning: ichikara-instruction, AnswerCarefully Dataset, Dolly Dataset, OASST1, OASST2LLM-jpApache 2.0
    Fugaku-LLM2024GPT(13B, 13B-instruct, 13B-instruct-gguf)2,048事前学習: 独自Instruction Tuning: OASST1, Dolly Dataset, GSM8K東工大, 東北大, 富士通, 理研, 名大, サイバーエージェント, Kotoba TechnologiesFugaku-LLM Terms of Use
    LLM-jp-13B v1.12024GPT(13b-instruct-lora-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1, 13b-instruct-full-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1, 13b-dpo-lora-hh_rlhf_ja-v1.1)2,048Instruction Tuning (LoRA or Full-parameter FT): Dolly Dataset, OASST1, ichikara-instructionDPO (LoRA): HH RLHFLLM-jpApache 2.0
    LLM-jp-13B2023GPT(1.3b-v1.0, 13b-v1.0, 13b-instruct-full-jaster-v1.0, 13b-instruct-full-jaster-dolly-oasst-v1.0, 13b-instruct-full-dolly-oasst-v1.0, 13b-instruct-lora-jaster-v1.0, 13b-instruct-lora-jaster-dolly-oasst-v1.0, 13b-instruct-lora-dolly-oasst-v1.0)2,048事前学習: llm-jp-corpus (Wikipedia, Japanese mC4, The Pile, Stack) (計 300B トークン)Instruction Tuning (Full-parameter FT or LoRA): jaster, Dolly Dataset, OASST1LLM-jpApache 2.0
    PLaMo-13B2023Llama[^1](13b, 13b-instruct, 13b-instruct-nc)base: 4,096instruct, instruct-nc: 8,192事前学習: C4, Project Gutenberg, RedPajama, 日本語 Wikipedia, Japanese mC4(計 1.5T トークン)Instruction Tuning: Dolly Dataset, HH RLHF, OASST1, llm-japanese-datasetのwikinews subset (NCモデルでは商用利用不可の Alpaca Dataset も含めて学習)Preferred NetworksApache 2.0(NC モデルは CC BY-NC 4.0)
    Stockmark-13b2023Llama(13b, 13b-instruct)2,048事前学習: 日本語 Wikipedia、Japanese CC-100、Japanese mC4、Japanese CommonCrawl、日本語特許、Stockmark Web Corpus(計 220B トークン)Instruction Tuning (LoRA): ichikara-instructionストックマークbaseモデル: MITinstructモデル: CC BY-NC-SA 4.0
    Weblab-10B2023GPT-NeoX(10b, 10b-instruction-sft)2,048Japanese mC4 + The Pile(計 600B トークン)*instruction-sft モデルは Alpaca Dataset, FLAN でファインチューニング東大 松尾・岩澤研CC BY-NC 4.0
    LLM-jp-4 8B2026Llama(8b-base, 8b-instruct, 8b-thinking, 8b-thinking-gguf)65,536事前学習 + 中間学習: llm-jp-corpus-v4.1, llm-jp-corpus-midtraining-v2(計 11.7T トークン)SFT: llm-jp-4-thinking-sft-dataDPO (thinking のみ): llm-jp-4-8b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    LLM-jp-4.1 8B2026Llama(8b-thinking, 8b-thinking-gguf)65,536LLM-jp-4 8B に対し事後学習SFT: llm-jp-4.1-thinking-sft-dataDPO: llm-jp-4.1-8b-thinking-dpo-data大規模言語モデル研究開発センターApache 2.0
    PLaMo 2.1 8B2025Samba ベースのアーキテクチャ(8b-cpt)32,768訓練詳細不明Preferred NetworksPLaMo community license
    PLaMo 2 8B2025Samba ベースのアーキテクチャ(8b)日本語、英語等のデータ(計 6T トークン)Preferred NetworksPLaMo community license
    Tanuki-8B2024Tanuki (8b)(v1.0, v1.0-AWQ, v1.0-GPTQ-4bit, v1.0-GPTQ-8bit, v1.0-GGUF)4,096事前学習: 様々な Web 上のデータ, 合成データ(計 1.3T トークン)SFT, DPO: 様々な合成データ [^19]松尾研LLM開発プロジェクトApache 2.0
    Japanese StableLM Alpha2023GPT-NeoX(base-alpha-7b, instruct-alpha-7b, instruct-alpha-7b-v2)2,048Wikipedia, Japanese CC-100, Japanese mC4, Japanese OSCAR, RedPajama(+ 独自のデータセット)[^2](計 750B トークン)*instruct モデルでは Alpaca Dataset, Dolly Dataset, HH RLHF, llm-japanese-datasetのwikinews subsetでファインチューニング(v2では商用利用不可の Alpaca Dataset を除外)Stability AIbaseモデル: Apache 2.0instruct モデル (v1): 独自のライセンスinstruct モデル (v2): Apache 2.0
    CyberAgentLM2 (CALM2)2023Llama(7b, 7b-chat, 7b-chat-dpo-experimental)base: 4,096chat: 32,768一般公開されている日本語・英語のデータセット(詳細不明) (計 1.3T トークン)*dpo モデルは Chatbot Arena Conversations JA (calm2) Dataset を用いて DPO で学習サイバーエージェントApache 2.0(dpo モデルのみ CC BY 4.0)
    OpenCALM2023GPT-NeoX(small, medium, large, 1b(1.4b), 3b(2.7b), 7b(6.8b))2,048日本語 Wikipedia + Jpanese mC4+ Japanese CC-100サイバーエージェントCC BY-SA 4.0
    Stormy2023GPT-NeoX(7b(6.8b))2,048OpenCALM (6.8b) に対してllm-japanese-dataset v0 のうち翻訳タスクを除いたデータで LoRAチューニング東大 和泉研CC BY-SA 4.0
    ByGPT-JP2025Llama ベース(multi-lm-head-6.5b-alpha)5,760llm-jp-corpus-v3 のサブセット (ja_cc, ja_warp_html, ja_warp_pdf, ja_wiki, kaken)東北大自然言語処理研究グループApache 2.0
    rinna GPT (英語やコードも含めて学習されたモデル)2023GPT-NeoX(4b(3.8b), 4b(3.8b)-8k, 4b(3.8b)-instruction-sft, 4b(3.8b)-instruction-ppo)8kモデル: 8,192他: 2,048Wikipedia, Japanese CC-100, Japanese C4, RedPajama, The Pile(計 524B トークン)*8k モデルでは 4,000トークンを超える長いトークン列でファインチューニング*instruction-sft モデルでは HH RLHF、FLAN でファインチューニング*instruction-ppo モデルでは HH RLHF で PPO ベースの強化学習rinnaMIT
    japanese-large-lm2023GPT-NeoX(1.7b, 3.6b, 1.7b-instruction-sft, 3.6b-instruction-sft)2,048日本語 Wikipedia, Japanese CC-100, Japanese C4, Japanese OSCAR や独自データなど(計 650GB)*instruction-sft モデルでは OASST1 でファインチューニングLINEApache 2.0
    rinna GPT (日本語のみで学習されたモデル)2023GPT または GPT-NeoX(xsmall, small, medium, 1b, neox-small, neox-3.6b-instruction-sft-v2, neox-3.6b-instruction-ppo)≤ 2,048日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加)*instruction-sft, sft-v2 モデルでは HH RLHF、FLAN、SHP データセットでさらにファインチューニング*instruction-ppo モデルでは HH RLHF でさらに PPO ベースの強化学習rinnaMIT
    Sarashina2.22025Llama(0.5b, 0.5b-instruct-v0.1, 1b, 1b-instruct-v0.1, 3b, 3b-instruct-v0.1)8,192SB IntuitionsMIT
    レトリバT52023T5(small (short), small (medium), small (long), base (short), base (medium), base (long), large (short), large (medium), large (long), xl(3b))日本語 Wikipedia + Japanese mC4レトリバCC BY-SA 4.0
    Spiral-RetNet-3b-base2024RetNet(3b)2,048Wikipedia, Japanese CC-100, CulturaXSpiral.AIMIT
    kotomamba-2.8B2024Mamba(2.8B-v1.0)2,048日本語 Wikipedia, Swallow Corpus, SlimPajamaKotoba TechnologiesApache 2.0
    ABEJA GPT2022GPT または GPT-NeoX(large, neox-2.7b)日本語 Wikipedia + Japanese CC-100 + Japanese OSCARABEJAMIT
    PLaMo 2.1 2B2025Causal decoder-only transformer(2b-cpt)32,768訓練詳細不明Preferred NetworksPLaMo community license
    Rakuten AI 2.0 mini2025Mistral(mini(1.5b), mini(1.5b)-instruct)131,072楽天Apache 2.0
    早大GPT2022GPT(small, xl(1.5b))日本語 Wikipedia + Japanese CC-100早大 河原研CC BY-SA 4.0
    ストックマークGPT2023GPT-NeoX(1.4b)日本語 Wikipedia (0.88B トークン)+ Japanese CC-100 (10.5B トークン)+ 独自のWebデータ (8.6B トークン)ストックマークMIT
    イエローバックGPT2021GPT-NeoX(1.3b)日本語 Wikipedia + Japanese CC-100 + Japanese OSCARイエローバックApache 2.0
    nanochat-jp2026nanochat (1b)(v4-sft-hf, v3-sft-hf)2,048事前学習: nanochat-jp-pretrain v4 / v3SFT: nanochat-jp-sft東北大自然言語処理研究グループApache 2.0
    PLaMo 2 1B2025Samba ベースのアーキテクチャ(1b)日本語、英語等のデータ(計 4T トークン)Preferred Elements (Preferred Networks)Apache 2.0
    Sarashina2.1-1B2024Llama(1b)8,192Web 上などの日本語・英語データ(計 10T トークン)SB IntuitionsSarashina Model NonCommercial License
    colorfulscoop GPT2021GPT(small)日本語 WikipediaColorful ScoopCC BY-SA 3.0
    東工大GPT2023GPT(medium, medium (逆方向)) [^3]日本語 Wikipedia + Japanese CC-100東工大 岡崎研CC BY-SA 4.0
    京大GPT2022GPT(small (文字レベル), medium (文字レベル), large (文字レベル))日本語 Wikipedia (約2,700万文 (3.2GB)) + Japanese CC-100 (約6億1,900万文 (85GB)) + Japanese OSCAR (約3億2,600万文 (54GB))京大 言語メディア研究室CC BY-SA 4.0
    日本語BART2023BART(base, large)日本語 Wikipedia (約1,800万文)京大 言語メディア研究室CC BY-SA 4.0
    Megagon Labs T52021T5(base)Japanese mC4 (87,425,304 ページ (782 GB))+ Japanese wiki40b (828,236 記事 (2 GB))Megagon Labs (リクルート)Apache 2.0

    ドメイン特化型
    公開年ドメインアーキテクチャ学習テキスト開発元ライセンス
    SIP-med-LLM/SIP-jmed-llm-3-8x13b-OP-32k-R0.12026医療MoE医療系コーパス (78.3B トークン) で LLM-jp-3 MoE (8x13b) に追加事前学習、コンテキスト長を 32k に拡張、その後 Instruction Tuning戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループApache 2.0[^25]
    SIP-med-LLM/SIP-jmed-llm-3-8x13b-AC-32k-instruct2025医療MoE医療系コーパス (78.3B トークン) で LLM-jp-3 MoE (8x13b) に追加事前学習、コンテキスト長を 32k に拡張、その後 PMC-Patients 等を用いた Instruction Tuning戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループSIP-jmed-llm-3-8x13b-AC-32k-instruct Terms of Use[^25]
    SIP-med-LLM/SIP-jmed-llm-3-8x13b-OP-4k-base2025医療MoE医療系コーパス (78.3B トークン) で LLM-jp-3 MoE (8x13b) に追加事前学習戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループApache 2.0[^25]
    SIP-med-LLM/SIP-jmed-llm-2-8x13b-OP-instruct2025医療MoE医療系コーパス (44.2B トークン) で LLM-jp-3 MoE (8x13b) に追加事前学習、その後 Instruction Tuning戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループApache 2.0[^25]
    SIP-med-LLM/SIP-jmed-llm-3-13b-OP-32k-R0.12026医療Llama医療系コーパス (78.3B トークン) で LLM-jp-3.1 (13b) に追加事前学習、コンテキスト長を 32k に拡張、その後 Instruction Tuning戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループApache 2.0[^25]
    SIP-med-LLM/SIP-jmed-llm-3-13b-OP-4k-base2025医療Llama医療系コーパス (78.3B トークン) で LLM-jp-3.1 (13b) に追加事前学習戦略的イノベーション創造プログラム(SIP)第3期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ1「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」 研究グループApache 2.0[^25]
    AscleLM-1-10B2026医療Mamba-2 Hybrid(Nemotron-H ベース)事前学習: Nemotron-CC v1 (約 6.3T トークン)、オープンソースの日本語・英語・中国語コーパス、コード・数学・推論データ (計 約 8.5T トークン)、および医学論文・医学書籍・診療ガイドライン・試験問題を由来とする合成データ東大 松尾・岩澤研AscleLM-1-10B Terms of Use[^27]
    日本語対話Transformer2021対話TransformerTwitter 上の日本語リプライのペアNTT独自のライセンス
    日本語ニュースBART2023ビジネスBART (base)日本語ビジネスニュース記事(約2,100万記事 (2.9億文))ストックマークMIT
    AcademicBART2023学術BART (base)CiNii の日本語論文愛媛大 人工知能研究室Apache 2.0

    海外モデルに日本語で継続事前学習を行ったモデル

    ※継続事前学習後に事後学習(SFT, DPO, RLなど)を行ったモデルも含みます

    汎用
    公開年ベースのLLM学習テキスト開発元ライセンス / 利用規約
    GPT-OSS Swallow 120B(120B-SFT-v0.1, 120B-RL-v0.1, 120B-RL-v0.1-MXFP4)2026GPT-OSS (120b)事前学習: Wikipedia, Swallow Corpus v3.2, Nemotron-CC, Cosmopedia, Laboro ParaCorpus, Swallow Math v2, Swallow Code v2(計 419.4B トークン)SFT: GPT-OSS-LMSYS-Chat-1M-Synth, Swallow-Nemotron-Post-Training-Dataset-v1RL: allenai/Dolci-Think-RL-7B (Math subset)SwallowプロジェクトApache 2.0
    Llama 3.3 Swallow 70B(70B-v0.4, 70B-Instruct-v0.4)2025Llama 3.3 (70b)事前学習: Wikipedia, DCLM-baseline-1.0, Swallow Corpus Version 2, Cosmopedia, Laboro ParaCorpus, FineMath-4+, Swallow Code Version 0.3Instruction Tuning: Gemma-2-LMSYS-Chat-1M-Synth, Swallow-Magpie-Ultra-v0.1, Swallow-Gemma-Magpie-v0.1, Swallow-Code-v0.3-Instruct-styleSwallowプロジェクトLlama 3.3 Community License & Gemma Terms of Use
    Llama 3.1 Swallow 70B(70B-v0.1, 70B-Instruct-v0.1, 70B-Instruct-v0.3)2024Llama 3.1 (70b)事前学習: The Stack v2, Wikipedia, DCLM-baseline-1.0, Swallow Corpus Version 2, Cosmopedia, Laboro ParaCorpusInstruction Tuning: lmsys-chat-1m-synth-ja-wo-pii-and-template-instructions, lmsys-chat-1m-synth-en-wo-pii-and-template-instructions, filtered-magpie-ultra-ja, filtered-magpie-ultra-en, gemma-magpieSwallowプロジェクトLlama 3.1 Community License(Instructモデルは Gemma Terms of Use も適用)
    cyberagent/Llama-3.1-70B-Japanese-Instruct-24072024Llama 3.1 (70b)不明サイバーエージェントLlama 3.1 Community License
    Llama 3 Swallow 70B(70B-v0.1, 70B-Instruct-v0.1)2024Llama 3 (70b)事前学習: Algebraic Stack, Wikipedia, RefinedWeb, Swallow Corpus, Cosmopedia, Laboro ParaCorpus, OpenWebMathInstruction Tuning: OASST1 [^17]SwallowプロジェクトLlama 3 Community License
    turing-motors/Llama-3-heron-brain-70B-v0.32024Llama 3 (70b)Llama 3 Swallow 70B に対して追加学習(詳細不明)TuringLlama 3 Community License
    Llama 3 Youko 70B(70b, 70b-instruct, 70b-gptq, 70b-instruct-gptq)2024Llama 3 (70b)事前学習: Wikipedia, Japanese C4, Japanese CC-100, Japanese OSCAR, The Pile, 独自のデータセット(計 5B トークン)Instruction Tuning: 独自のデータセット[^11]rinnaLlama 3 Community License
    Swallow 70B(70b-hf, 70b-instruct-hf, 70b-instruct-v0.1, 70b-NVE-hf, 70b-NVE-instruct-hf)2023Llama 2 (70b)事前学習: 日本語 Wikipedia, RefinedWeb, Swallow Corpus, The PileInstruction Tuning: Dolly Dataset, HH RLHF, OASST1*v0.1モデルでは OASST1, OASST2 を使用SwallowプロジェクトLlama 2 Community License
    KARAKURI LM(70b-v0.1, 70b-chat-v0.1)2024Llama 2 (70b)事前学習: mC4, CC100, OSCAR, RedPajama, 独自のデータセット(計 16B トークン)SteerLM: OASST2, 独自のデータセットカラクリLlama 2 Community License[^13]
    Japanese Stable LM Beta 70B(base-beta-70b, instruct-beta-70b)2023Llama 2 (70b)事前学習: Wikipedia, Japanese mC4, Japanese CC-100, Japanese OSCAR, SlimPajama(Books3を除外)(計 100B トークン)Instruction Tuning: Dolly Dataset, HH RLHF, OASST1Stability AILlama 2 Community License
    Fujitsu-LLM-KG(8x7B_cpt, 8x7B_inst-infer_v1, 8x7B_inst-infer_v2, 8x7B_inst-gen_ja, 8x7B_inst-gen_en)2025Mixtral-8x7B-Instruct-v0.1 (46.7b)事前学習: 知識グラフ並列コーパス(森羅プロジェクト、Wikipedia等から合成) 2.1Bトークンを含む計約300BトークンInstruction Tuning: 知識グラフ推論・生成タスク用データセット富士通Apache 2.0
    Swallow-MX 8x7B(8x7b-NVE-v0.1)2024Mixtral-8x7B-Instruct-v0.1 (46.7b)事前学習: Algebraic Stack, Japanese Wikipedia, RefinedWeb, Swallow Corpus, The Pile, The VaultSwallowプロジェクトApache 2.0
    KARAKURI LM 8x7B Instruct v0.1(8x7b-instruct-v0.1)2024Mixtral-8x7B-Instruct-v0.1 (46.7b)Swallow-MX 8x7B に対して以下のデータセットで学習: Dolly Dataset, OASST2, HelpSteer, glaive-code-assistant-v3, glaive-function-calling-v2, synthetic_text_to_sql, MetaMathQA, orca-math-word-problems-200k, rag-dataset-12000, rag-hallucination-dataset-1000, 独自のデータセットカラクリApache 2.0 (?)[^12]
    KARAKURI LM 8x7B Chat v0.1(8x7b-chat-v0.1)2024Mixtral-8x7B-Instruct-v0.1 (46.7b)Swallow-MX 8x7B に対してSteerLM: OASST2, HelpSteer, 独自のデータセットカラクリApache 2.0
    ABEJA-Mixtral-8x7B-japanese(8x7B-v0.1-japanese, 8x7B-Instruct-v0.1-japanese, 8x7B-Instruct-v0.1-japanese-alpha, 8x7B-Instruct-v0.1-japanese-alpha-merged)2024Mixtral-8x7B-Instruct-v0.1 (46.7b)*Instructが名前に付いていないモデルのみ Mixtral-8x7B-v0.1 がベース事前学習: Japanese CC, Redpajama, 独自(計 450B トークン)ABEJAApache 2.0
    Qwen3 Swallow 32B(32B-CPT-v0.2, 32B-SFT-v0.2, 32B-RL-v0.2, 32B-RL-v0.2-AWQ-INT4)2026Qwen3 (32b)事前学習: Wikipedia, Swallow Corpus v3.2, Nemotron-CC, Cosmopedia, Laboro ParaCorpus, Swallow Math v2, Swallow Code v2(計 209.7B トークン)SFT: GPT-OSS-LMSYS-Chat-1M-Synth, Swallow-Nemotron-Post-Training-Dataset-v1RL: allenai/Dolci-Think-RL-7B (Math subset)SwallowプロジェクトApache 2.0
    ELYZA-Thinking-1.0-Qwen-32B(32B)2025Qwen 2.5 (32b)事前学習 + SFT (Reasoning)ELYZAApache 2.0
    ELYZA-Shortcut-1.0-Qwen-32B(32B)2025Qwen 2.5 (32b)事前学習 + SFTELYZAApache 2.0
    ABEJA-Qwen2.5-32b-Japanese-v1.0(v1.0)2025Qwen2.5-32B-Instruct (32b)継続事前学習 + SFT + DPO: 約2万件の合成データ・人手アノテーションデータセット(抽出・推論能力に特化)ABEJAApache 2.0
    Qwen2.5 Bakeneko 32B(qwen2.5-bakeneko-32b, qwen2.5-bakeneko-32b-instruct, deepseek-r1-distill-qwen2.5-bakeneko-32b, qwq-bakeneko-32b)2025Qwen 2.5 (32b)rinnaApache 2.0
    ABEJA-QwQ32b-Reasoning-Japanese-v1.0(v1.0)2025Qwen 2.5 (32b)ABEJA-Qwen2.5-32b-Japanese-v0.1 に QwQ 32b の Chat Vector をマージした上で追加学習ABEJAApache 2.0
    ABEJA-Qwen2.5-32b-Japanese-v0.1(32b-Japanese-v0.1)2025Qwen 2.5 (32b)事前学習: Common Crawl, Cosmopedia, 独自(計 100B トークン)+ Chat VectorABEJAApache 2.0
    neoAI-JP-QwQ-32B(32B)2025Qwen 2.5 (32b)継続事前学習: llm-jp-corpus v3から約4Bトークン+ QwQ-32BのChat VectorneoAIApache 2.0
    neoAI-JP-DeepSeek-Qwen-32B(32B)2025Qwen 2.5 (32b)継続事前学習: llm-jp-corpus v3から約4Bトークン+ DeepSeek-R1-Distill-Qwen-32BのChat VectorneoAIApache 2.0
    Qwen3 Swallow 30B-A3B(30B-A3B-CPT-v0.2, 30B-A3B-SFT-v0.2, 30B-A3B-RL-v0.2, 30B-A3B-RL-v0.2-AWQ-INT4)2026Qwen3 (30b-A3B)事前学習: Wikipedia, Swallow Corpus v3.2, Nemotron-CC, Cosmopedia, Laboro ParaCorpus, Swallow Math v2, Swallow Code v2(計 209.7B トークン)SFT: GPT-OSS-LMSYS-Chat-1M-Synth, Swallow-Nemotron-Post-Training-Dataset-v1RL: allenai/Dolci-Think-RL-7B (Math subset)SwallowプロジェクトApache 2.0
    Gemma-2-Llama Swallow 27B(27b-pt-v0.1, 27b-it-v0.1)2025Gemma 2 (27b)事前学習: Wikipedia, DCLM-baseline-1.0, Swallow Corpus Version 2, Cosmopedia, Laboro ParaCorpus, FineMath-4+, Swallow Code Version 0.3Instruction Tuning: Gemma-2-LMSYS-Chat-1M-Synth, Swallow-Magpie-Ultra-v0.1, Swallow-Gemma-Magpie-v0.1SwallowプロジェクトLlama 3.3 Community License & Gemma Terms of Use
    GPT-OSS Swallow 20B(20B-SFT-v0.1, 20B-RL-v0.1, 20B-RL-v0.1-MXFP4)2026GPT-OSS (20b)事前学習: Wikipedia, Swallow Corpus v3.2, Nemotron-CC, Cosmopedia, Laboro ParaCorpus, Swallow Math v2, Swallow Code v2(計 419.4B トークン)SFT: GPT-OSS-LMSYS-Chat-1M-Synth, Swallow-Nemotron-Post-Training-Dataset-v1RL: allenai/Dolci-Think-RL-7B (Math subset)SwallowプロジェクトApache 2.0
    ABEJA-Qwen3-14B-Agentic-256k-v0.1(v0.1)2026Qwen3 (14b)継続事前学習: 長文合成データ(YaRN によりコンテキスト長を128k→256kに拡張)+ Agentic 能力強化のための強化学習ABEJAApache 2.0
    Nekomata 14B(14b, 14b-instruction, 14b-gguf, 14b-instruction-gguf)2023Qwen (14b)事前学習: Wikipedia, Japanese C4, Japanese CC-100, Japanese OSCAR, The Pile, 独自のデータセット(計 66B トークン)Instruction Tuning: Dolly Dataset, FLAN, llm-japanese-datasetの一部rinnaTongyi Qianwen LICENSE
    Swallow 13B(13b-hf, 13b-instruct-hf, 13b-instruct-v0.1, 13b-NVE-hf)2023Llama 2 (13b)事前学習: 日本語 Wikipedia, RefinedWeb, Swallow Corpus, The PileInstruction Tuning: Dolly Dataset, HH RLHF, OASST1*v0.1モデルでは OASST1, OASST2 を使用SwallowプロジェクトLlama 2 Community License
    LEIA-Swallow-13B(13b)2024Llama 2 (13b)Swallow 13B に対して LEIA で追加学習個人 (山田育矢, 李凌寒)Llama 2 Community License
    ELYZA-japanese-Llama-2-13b(13b, 13b-instruct, 13b-fast, 13b-fast-instruct)2023Llama 2 (13b)事前学翕: 日本語 Wikipedia, Japanese OSCAR, その他クロールデータなど(計 18B トークン)Instruction Tuning: 独自のデータセットELYZALlama 2 Community License
    cyberagent/Mistral-Nemo-Japanese-Instruct-24082024Mistral NeMo (12b)不明サイバーエージェントApache 2.0
    NVIDIA-Nemotron-Nano-9B-v2-Japanese(9B)2026Nemotron-Nano (9b)継続事前学習: Wikipedia, fineweb-2 Japanese, aozorabunko, sip3-ja-general-web-corpus, Nemotron-CC-v2.1, Nemotron-Pretraining-Specialized-v1SFT: Nemotron-Personas-Japan をシードセットとした Tool Calling データセット, Nemotron-Post-Training-v3NVIDIANVIDIA Nemotron Open Model License Agreement
    Gemma-2-Llama Swallow 9B(9b-pt-v0.1, 9b-it-v0.1)2025Gemma 2 (9b)事前学習: Wikipedia, DCLM-baseline-1.0, Swallow Corpus Version 2, Cosmopedia, Laboro ParaCorpus, FineMath-4+, Swallow Code Version 0.3Instruction Tuning: Gemma-2-LMSYS-Chat-1M-Synth, Swallow-Magpie-Ultra-v0.1, Swallow-Gemma-Magpie-v0.1SwallowプロジェクトLlama 3.3 Community License & Gemma Terms of Use
    Qwen3 Swallow 8B(8B-CPT-v0.2, 8B-SFT-v0.2, 8B-RL-v0.2, 8B-RL-v0.2-AWQ-INT4)2026Qwen3 (8b)事前学習: Wikipedia, Swallow Corpus v3.2, Nemotron-CC, Cosmopedia, Laboro ParaCorpus, Swallow Math v2, Swallow Code v2(計 209.7B トークン)SFT: GPT-OSS-LMSYS-Chat-1M-Synth, Swallow-Nemotron-Post-Training-Dataset-v1RL: allenai/Dolci-Think-RL-7B (Math subset)SwallowプロジェクトApache 2.0
    Llama 3.1 Swallow 8B(8B-v0.1, 8B-Instruct-v0.1, 8B-v0.2, 8B-Instruct-v0.2, 8B-Instruct-v0.3, [8B-Instruct-v0.5](https://huggingface.co/tokyotech-llm/Llama-3.1-Swallo