AI:Make 死宅 Great Again
今天这篇文章主要是因为组内有 AI 分享,因此被迫营业了一回,本人平时并不怎么研究 AI,因此本文依旧是从使用和介绍的角度的个人锐评,并没有涉及原理知识,望周知。
开篇介绍
之前我们介绍过「AI 老婆」,如何让你的老婆来模拟唱歌,今天介绍的是应用面更广的「翻译」。(下次再抽到分享我可就没活了)
目前相信大家也一直在用 AI 翻译来读文章、看教程、看 Youtube,并且或许你会觉得它还挺好用,翻译是不是要失业了——本文就将通过一些工具的实际使用效果和预期来判断「翻译是否会失业」。
首先,我们先来了解下身为一个(不怎么懂日语的)二次元,需要有哪些翻译:
- 视频翻译(番剧 / Live / 生放送等等)
- 音频翻译(广播)
- 游戏翻译
- 轻小说翻译
- 漫画翻译
而接下来我们一边科普翻译流程,一边看目前的一些解决方案。
视频翻译
传统翻译流程
这是一个视频翻译的传统流程(换行主要是一行放不下,没有别的意思):
其中:
- 听写:如果有原版字幕可以直接使用原版字幕
- 注释:用来解决一些背景解释,方便没有专业背景的读者理解
- 特效:SRT 字幕只有时间信息,一般内压都会选择 ASS 更精致
- 压制:内置字幕,外挂字幕可以省略
参考:https://www.gcores.com/articles/183193
关于注释目前见到的最牛的是旋风管家的民间翻译,里面用了大量日本本土和二次元梗,竟然一个没漏,连角落都没放过的加上了。(但被 B 站荼毒,成为正版受害者)
特效可以看 Live 中,日式 Live 女团中大部分情况下会加特效+应援色。比如:
可以说,能让一个熟肉浑然天成也是一种手艺活。
AI 机翻
AI 的流程主要可以替代的部分是:
- 听写:也就是语音识别
- 打轴:识别的同时打上时间段
- 翻译:AI 主要工作的部分
这里就介绍两个工具,大家之后也可以自己玩玩。
AATV
项目地址:https://github.com/Chenyme/Chenyme-AAVT
Features:
- 支持识别和翻译多种语言
- 支持 全流程本地化、免费化部署
- 支持对视频 一键生成博客内容、营销图文
- 支持 自动化翻译、二次修改字幕、预览视频
- 支持开启 GPU 加速、VAD 辅助、FFmpeg 加速
- 支持使用 ChatGPT、Claude、Gemini、DeepSeek 等众多大模型翻译引擎
更新的非常勤快(年轻真好),因为我使用的时候的截图它还不长这样……(它还是下面这样的)
本地模型下载:https://huggingface.co/Systran
如果你本来就不会校对、也不懂怎么做 ASS 字幕,这个处理完相当于一步到位的 AI 成品,可以直接发布。
调参和换模型仍然是重要的,好的显卡大的内存也是重要的。——来自 Memory OOM 的总结
视频效果可见:
可以看到在句子连续的情况下没什么问题,但是在梗、人名、专有名词和断句上仍然存在问题,甚至会导致漏句。
适合场景:非大型视频网站视频搬运(比如 Niconico?)(因为 y2b 字幕外挂太多,根本用不上,除非你要搬到 B 站) 动画也可以,但是这年头里番都有字幕组汉化了,不会真的有人看这么冷的吧。
Linly-Dubbing
项目地址:https://github.com/Kedreamix/Linly-Dubbing
Features:
- 多语言支持: 支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。
- AI 智能语音识别: 使用先进的AI技术进行语音识别,提供精确的语音到文本转换和说话者识别。
- 大型语言模型翻译: 结合领先的本地化大型语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。
- AI 声音克隆: 利用尖端的声音克隆技术,生成与原视频配音高度相似的语音,保持情感和语调的连贯性。
- 数字人对口型技术: 通过对口型技术,使配音与视频画面高度契合,提升真实性和互动性。
- 灵活上传与翻译: 用户可以上传视频,自主选择翻译语言和标准,确保个性化和灵活性。
- 定期更新: 持续引入最新模型,保持配音和翻译的领先地位。
这个工具特别适合流水线搬运视频,我们在上网冲浪时经常会看到搬运的配了音的科普视频,有了这个,你可以很轻松的当搬运区 UP。
二次元特攻模型
在开始其他内容的介绍前,先介绍一下基准技术:SakuraLLM。
项目地址:https://github.com/SakuraLLM/SakuraLLM/tree/main?tab=readme-ov-file
- 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。
接下来几种翻译形式大部分都是基于 SakuraLLM 落地的实际工具。
游戏翻译
游戏翻译,尤其是 Galgame 翻译也是一个考验语言功底的内容,举两个非常简单的个人认为现阶段机翻无法替代的内容:
秋深し、隣はなにも、しない人 晨意微寒秋渐深,闲伴无事俏佳人
秋深し、情けは人の、為ならず 梦里不觉秋已深,余情岂是为他人
——白色相簿 2
我在尽可能的让机翻翻译的工整对账,充满文艺气息的版本是:「秋意深浓,邻家静坐,善意施人,非为他人。」
从意境的角度还是有一定差距。
此外,当我们谈论游戏的时候,就不得不意识到上下文连贯和本地化的重要意义。比如「逆转裁判」中使用了大量的谐音梗,甚至作为了案子线索的一部分,如果直译的话最坏的结果就是游戏根本打不下去,关于逆转裁判用了多少谐音梗,可见:https://www.bilibili.com/read/cv34832033/?jump_opus=1
Based On SakuraLLM
说了这么多,日语苦手至少多了一个选择(也不是不能玩),以下几个基于 SakuraLLM 的如果有需要都可以试试。
本来我确实想试试,奈何找了几个 Gal 都是有汉化的……
- LunaTranslator:Galgame在线翻译
- GalTransl:Galgame离线翻译,制作补丁
- AiNiee:RPG游戏翻译(适合 RPG Maker)
巴哈姆特的 LunaTranslator 教程细的很:https://forum.gamer.com.tw/C.php?bsn=60599&snA=41884
RenpyThief
支持 Unity 之类的游戏,肉眼来看相比上面几个至少多支持了一种引擎,缺点是有免费额度,多了要钱(配置 OpenAPI Key 怎么不能算一种要钱呢)。更像是一个成熟的商业产品。
项目地址:https://lion.craft.me/RenpyThief
NGA 老哥表示:https://nga.178.com/read.php?tid=38871232&rand=174
轻小说翻译
轻小说在传统的翻译中面临的主要挑战是背景解释和译者吐槽(其实一部分人也不喜欢看译者吐槽,觉得有点 OOC)。总的来说有了 SakuraLLM 基本属于专业对口,关于落地应用可以直接看下面两个:
漫画翻译
传统翻译流程
和动画翻译一样,针对漫画翻译,我们再从传统翻译流程开始讲起:
可能会给大家困扰的点是:「修图」和「嵌字」有什么区别。
因此我在网上找了一张比较好理解的解释图:
简单的来说,漫画不仅仅是由气泡框组成的,一些漫画背景中也会有文本量,这种时候就更需要 PS 技巧了。
机翻
在嵌字的翻译上,目前漫画翻译项目已经做的很不错了:https://github.com/zyddnys/manga-image-translator,效果如下:
但是在修图上差的还是有点远的。
不过这个工具不仅支持英语日语,还支持韩语,属实解决了大家看漫画的所有核心痛点了。
总结
如果大家光看一些英文冲浪的普通翻译来说,可能真的会得出「翻译岗位已经没有人要」的结论。
但是从上面的分析来看,垂类领域翻译,尤其是会做本地化的翻译还是非常重要的,虽然也不能说多年之后的发展会怎么样,但现阶段,咱们还是感谢带中文的游戏和民间汉化组吧。
另外:跑这个真吃 GPU,还好我换了新电脑。
植入部分
如果您觉得文章不错,可以通过赞助支持我。
如果您不希望打赏,也可以通过关闭广告屏蔽插件的形式帮助网站运作。