GPT-SOVITS v2模型|小正太声音模型|正太儿童读物AI配音模型

4天前更新

170

该帖子部分内容已隐藏

擅长领域：稚嫩，可爱，童真无邪，童声，动漫，游戏

GPT-SOVITS模型配音效果

鉴于GPT-SOVITS模型自回归特性，即其配音情绪高度依赖于所提供的参考音频，特此说明：本视频所展示的配音情绪仅为采用某一特定参考音频时的效果示例，并不全面反映GPT-SOVITS模型能够生成的全部情绪范围及最终配音质量的上限。模型的最终表现将随着不同参考音频的输入而展现出多样化。

训练日志

2024-08-07 17:17:37,707	正太音 儿童动漫读物	INFO	{'train': {'log_interval': 100, 'eval_interval': 500, 'seed': 1234, 'epochs': 20, 'learning_rate': 0.0001, 'betas': [0.8, 0.99], 'eps': 1e-09, 'batch_size': 15, 'fp16_run': True, 'lr_decay': 0.999875, 'segment_size': 20480, 'init_lr_ratio': 1, 'warmup_epochs': 0, 'c_mel': 45, 'c_kl': 1.0, 'text_low_lr_rate': 0.4, 'pretrained_s2G': 'GPT_SoVITS/pretrained_models/s2G488k.pth', 'pretrained_s2D': 'GPT_SoVITS/pretrained_models/s2D488k.pth', 'if_save_latest': True, 'if_save_every_weights': True, 'save_every_epoch': 20, 'gpu_numbers': '0'}, 'data': {'max_wav_value': 32768.0, 'sampling_rate': 32000, 'filter_length': 2048, 'hop_length': 640, 'win_length': 2048, 'n_mel_channels': 128, 'mel_fmin': 0.0, 'mel_fmax': None, 'add_blank': True, 'n_speakers': 300, 'cleaned_text': True, 'exp_dir': 'logs/正太音 儿童动漫读物'}, 'model': {'inter_channels': 192, 'hidden_channels': 192, 'filter_channels': 768, 'n_heads': 2, 'n_layers': 6, 'kernel_size': 3, 'p_dropout': 0.1, 'resblock': '1', 'resblock_kernel_sizes': [3, 7, 11], 'resblock_dilation_sizes': [[1, 3, 5], [1, 3, 5], [1, 3, 5]], 'upsample_rates': [10, 8, 2, 2, 2], 'upsample_initial_channel': 512, 'upsample_kernel_sizes': [16, 16, 8, 2, 2], 'n_layers_q': 3, 'use_spectral_norm': False, 'gin_channels': 512, 'semantic_frame_rate': '25hz', 'freeze_quantizer': True, 'version': 'v1'}, 's2_ckpt_dir': 'logs/正太音 儿童动漫读物', 'content_module': 'cnhubert', 'save_weight_dir': 'SoVITS_weights', 'name': '正太音 儿童动漫读物', 'version': 'v1', 'pretrain': None, 'resume_step': None}
2024-08-07 17:17:38,951	正太音 儿童动漫读物	INFO	loaded pretrained GPT_SoVITS/pretrained_models/s2G488k.pth
2024-08-07 17:17:39,156	正太音 儿童动漫读物	INFO	loaded pretrained GPT_SoVITS/pretrained_models/s2D488k.pth
2024-08-07 17:18:15,075	正太音 儿童动漫读物	INFO	Train Epoch: 1 [0%]
2024-08-07 17:18:15,076	正太音 儿童动漫读物	INFO	[2.6187124252319336, 2.121137857437134, 8.087390899658203, 17.61781120300293, 0.0, 2.048354148864746, 0, 9.99875e-05]
2024-08-07 17:18:30,464	正太音 儿童动漫读物	INFO	====> Epoch: 1
2024-08-07 17:18:46,006	正太音 儿童动漫读物	INFO	====> Epoch: 2
2024-08-07 17:19:01,921	正太音 儿童动漫读物	INFO	====> Epoch: 3
2024-08-07 17:19:17,256	正太音 儿童动漫读物	INFO	====> Epoch: 4
2024-08-07 17:19:32,211	正太音 儿童动漫读物	INFO	====> Epoch: 5
2024-08-07 17:19:42,254	正太音 儿童动漫读物	INFO	Train Epoch: 6 [56%]
2024-08-07 17:19:42,254	正太音 儿童动漫读物	INFO	[2.5803468227386475, 2.306088924407959, 11.227741241455078, 20.06479835510254, 0.0, 1.9710750579833984, 100, 9.99250234335941e-05]
2024-08-07 17:19:47,330	正太音 儿童动漫读物	INFO	====> Epoch: 6
2024-08-07 17:20:01,992	正太音 儿童动漫读物	INFO	====> Epoch: 7
2024-08-07 17:20:17,000	正太音 儿童动漫读物	INFO	====> Epoch: 8
2024-08-07 17:20:32,001	正太音 儿童动漫读物	INFO	====> Epoch: 9
2024-08-07 17:20:46,846	正太音 儿童动漫读物	INFO	====> Epoch: 10
2024-08-07 17:21:01,667	正太音 儿童动漫读物	INFO	====> Epoch: 11
2024-08-07 17:21:06,315	正太音 儿童动漫读物	INFO	Train Epoch: 12 [11%]
2024-08-07 17:21:06,315	正太音 儿童动漫读物	INFO	[2.5080747604370117, 2.3585753440856934, 13.584067344665527, 21.37436294555664, 0.0, 1.9572107791900635, 200, 9.98501030820433e-05]
2024-08-07 17:21:17,048	正太音 儿童动漫读物	INFO	====> Epoch: 12
2024-08-07 17:21:31,946	正太音 儿童动漫读物	INFO	====> Epoch: 13
2024-08-07 17:21:46,712	正太音 儿童动漫读物	INFO	====> Epoch: 14
2024-08-07 17:22:01,500	正太音 儿童动漫读物	INFO	====> Epoch: 15
2024-08-07 17:22:16,317	正太音 儿童动漫读物	INFO	====> Epoch: 16
2024-08-07 17:22:27,566	正太音 儿童动漫读物	INFO	Train Epoch: 17 [67%]
2024-08-07 17:22:27,566	正太音 儿童动漫读物	INFO	[2.490701198577881, 2.785515308380127, 13.462101936340332, 21.937942504882812, 0.0, 1.8754656314849854, 300, 9.978771236724554e-05]
2024-08-07 17:22:31,367	正太音 儿童动漫读物	INFO	====> Epoch: 17
2024-08-07 17:22:46,168	正太音 儿童动漫读物	INFO	====> Epoch: 18
2024-08-07 17:23:00,812	正太音 儿童动漫读物	INFO	====> Epoch: 19
2024-08-07 17:23:15,610	正太音 儿童动漫读物	INFO	Saving model and optimizer state at iteration 20 to logs/正太音 儿童动漫读物/logs_s2\G_233333333333.pth
2024-08-07 17:23:16,383	正太音 儿童动漫读物	INFO	Saving model and optimizer state at iteration 20 to logs/正太音 儿童动漫读物/logs_s2\D_233333333333.pth
2024-08-07 17:23:18,398	正太音 儿童动漫读物	INFO	saving ckpt 正太音 儿童动漫读物_e20:Success.
2024-08-07 17:23:18,398	正太音 儿童动漫读物	INFO	====> Epoch: 20