SQB представил UzLPC — крупнейшую открытую базу данных и текстов для узбекского языка

В эпоху стремительного внедрения искусственногоинтеллекта и цифровых технологий ключевое значениеприобретает то, насколько точно умные программыпонимают узбекский язык и переводят на него. Департаментискусственного интеллекта Узпромстройбанка (SQB) сделалважный шаг в этом направлении, завершив масштабныйпроект по созданию крупнейшего набора параллельныхтекстов для узбекского языка — Uzbek Large-Scale Parallel Corpus (UzLPC).

UzLPC – это гигантская цифровая база данных, предназначенная для обучения моделей искусственногоинтеллекта грамотному общению и переводу на узбекскийязык. До сегодняшнего дня при автоматическом переводетекстов на узбекский часто возникали стилистические и логические ошибки. Созданный SQB массив данныхпризван решить именно эту проблему.

Масштаб проекта в цифрах:

• Более 2,3 миллиона адаптированных пар предложений (с английского и русского на узбекский язык);

• Более 17,9 миллиона словоупотреблений;

• Более 819 тысяч уникальных слов.

Тексты в базе собраны из наиболее надежных источников — открытой платформы Tatoeba и Узбекской Википедии. Кроме того, более 10% материалов были отдельнопроверены специалистами и приведены к эталонномукачеству перевода.

Данная инициатива реализована в рамках стратегии SQB понаращиванию собственных компетенций в областицифровых технологий и искусственного интеллекта. Технический процесс был осуществлен в сотрудничестве с компанией Huawei Technologies на высокопроизводительномсервере Atlas 800I A2 с использованием передовой моделиИИ Qwen3.5-122B-A10B.

«Создание такого богатого массива данных для узбекскогоязыка знаменует собой новый этап в развитии цифровыхтехнологий и искусственного интеллекта в нашей стране. Мы верим, что этот ресурс поможет отечественнымразработчикам и исследователям создавать еще болеесовершенные и удобные AI-решения», — отметили в Департаменте искусственного интеллекта SQB.

Руководствуясь принципами социальной ответственности и поддержки технологического сообщества, SQB предоставилдоступ к этой платформе абсолютно бесплатно и в открытом формате (по лицензии CC BY-SA 4.0). Теперькаждый местный разработчик, исследователь и IT-специалист может использовать данный ресурс в своихпроектах.

Orqaga qaytish

38

Boshqa yangiliklar