Синхронный переводчик при помощи нейросети.
Сообщений: 54
• Страница 2 из 3 • 1, 2, 3
number, подскажи куда копать. Мне нужно разделить стереоканал на перевод и оригинал в левое и правое ухо (так гораздо чётче учится язык, так принято на всяких конференциях с разноязычными синхропереводами). API даёт доступ к громкости потоков по стерео или всё сыпится в единый зажимаемый AAC-LC 44,1кГц стерео? До публичного API использовал настройки винды, чтобы Я.браузер шёл в один, Хром в другой. А далее на RealtekHD сводил два аппаратных в единый L+R.
ru4nik, тут копать и копать
1) Все аппаратные и программные решения рабочие - но нужно, как ты предложил два браузера или двесетевые аудиокарты, и выводить на колонки одно, на наушники другое.
2) В скрипте от Яндекса не вижу следов каналов.
3) В API от Яндекса - https://github.com/yandex/audio-js - тоже пусто.
4) Но от Яндекса я пошёл к Web Audio Api и это уже будоражит воображение - https://github.com/yandex/audio-js/blob ... dio-api.md
Там интересует функция: ChannelSplitterNode - элемент, который принимает на вход один многоканальный поток и выдает набор моноканальных потоков;
Чтобы понять, что оно работает можно поиграться с https://codepen.io/Rumyra/pen/qyMzqN/
там только путь на mp3 нужно указать в блоке HTML в 28 строке, в теге audio -> src="сюда".
С видео проблемы. Youtube не хочет отдавать своё видео для вопроизведения, также как и другие видеохостинги. Еле нашёл доступный MP4 без ограничений, другие ругаются и не воспроизводятся - http://commondatastorage.googleapis.com ... kBunny.mp4. Если тег audio поменять на video, не поможет.
Вот как только станет понятно, как же с трубы в плеер подсовывать видео, встанет другая задача - как запускать одновременно и можно ли регулировать по отдельности разные ресурсы влево, вправо.
В конце привести к нормальному виду, например, на отдельной странице передавать ссылку на видео youtube, там дальнейшая генерация всего необходимого и два регулятора для перевода и оригинала.
1) Все аппаратные и программные решения рабочие - но нужно, как ты предложил два браузера или две
2) В скрипте от Яндекса не вижу следов каналов.
3) В API от Яндекса - https://github.com/yandex/audio-js - тоже пусто.
4) Но от Яндекса я пошёл к Web Audio Api и это уже будоражит воображение - https://github.com/yandex/audio-js/blob ... dio-api.md
Там интересует функция: ChannelSplitterNode - элемент, который принимает на вход один многоканальный поток и выдает набор моноканальных потоков;
Чтобы понять, что оно работает можно поиграться с https://codepen.io/Rumyra/pen/qyMzqN/
там только путь на mp3 нужно указать в блоке HTML в 28 строке, в теге audio -> src="сюда".
С видео проблемы. Youtube не хочет отдавать своё видео для вопроизведения, также как и другие видеохостинги. Еле нашёл доступный MP4 без ограничений, другие ругаются и не воспроизводятся - http://commondatastorage.googleapis.com ... kBunny.mp4. Если тег audio поменять на video, не поможет.
Вот как только станет понятно, как же с трубы в плеер подсовывать видео, встанет другая задача - как запускать одновременно и можно ли регулировать по отдельности разные ресурсы влево, вправо.
В конце привести к нормальному виду, например, на отдельной странице передавать ссылку на видео youtube, там дальнейшая генерация всего необходимого и два регулятора для перевода и оригинала.
Последний раз редактировалось number 28 фев 2023, 07:23, всего редактировалось 1 раз.
mirok, Эту функцию я на боковые кнопки мыши повесил, хоум и энд, оч крутая тема кста.
А яндекс норм, но он сука свои днс подперживает и через него не пашет антизапрет с роутера, ну и тоже все на гугл акке у меня, а так все браузеры стоят, кропе оперы и фф у меня, недавно в эдж кста все перенес из хрома, из коробки у винды сейчас оч крутой браузер тоже стал.
PS попробовал сейчас ябраузер- стал рабоать с антизапретом, это круто, поюзаю его пока, он все таки имхо сейчас удобнее и быстрее всех. Причем он ппц как быстрее хрома, я в шоке , очень круто.
А яндекс норм, но он сука свои днс подперживает и через него не пашет антизапрет с роутера, ну и тоже все на гугл акке у меня, а так все браузеры стоят, кропе оперы и фф у меня, недавно в эдж кста все перенес из хрома, из коробки у винды сейчас оч крутой браузер тоже стал.
PS попробовал сейчас ябраузер- стал рабоать с антизапретом, это круто, поюзаю его пока, он все таки имхо сейчас удобнее и быстрее всех. Причем он ппц как быстрее хрома, я в шоке , очень круто.
ru4nik, подумал с утра на свежую голову. Первая мысль, которая пришла, если бы видеохостинги отдавали видео всем подряд, то я бы первым делом сделал обычный плеер для воспроизведения музыки с youtube, с перемотками, переключением треков и.т.д., включая эквалайзер на странице. И такое решение уже было бы и вполне пользовалось популярностью, но реклама и всё такое - терять деньги и просмотры никто не будет.
Поискал, на всякий случай, у ютуба API. Там предлагается в iframe засовывать и им управлять программно, но снова про каналы никто не думает. Решения на гитхабе косвенно подтверждают безысходность. Как здесь: https://github.com/sampotts/plyr
В общем, если тебе не нужно само видео, а только звук, и не пугают небольшие временные издержки, то я бы поступил так - скачал бы mp3 из youtube, есть всякие сервисы и проги для этого. Также скачал mp3 перевода. Засунул бы в разные дорожки в аудиоредактор и разделил бы их по каналам. Даже бесплатная Audacity подойдёт. А дальше хоть в самом редакторе слушать, хоть в mp3 экспортировать с разделёнными R/L и слушать где и когда угодно. (Но всё это уже незаконно)
Спасибо за задачку! Но мир лицензий, патентов и исключительных прав жесток!
Поискал, на всякий случай, у ютуба API. Там предлагается в iframe засовывать и им управлять программно, но снова про каналы никто не думает. Решения на гитхабе косвенно подтверждают безысходность. Как здесь: https://github.com/sampotts/plyr
В общем, если тебе не нужно само видео, а только звук, и не пугают небольшие временные издержки, то я бы поступил так - скачал бы mp3 из youtube, есть всякие сервисы и проги для этого. Также скачал mp3 перевода. Засунул бы в разные дорожки в аудиоредактор и разделил бы их по каналам. Даже бесплатная Audacity подойдёт. А дальше хоть в самом редакторе слушать, хоть в mp3 экспортировать с разделёнными R/L и слушать где и когда угодно. (Но всё это уже незаконно)
Спасибо за задачку! Но мир лицензий, патентов и исключительных прав жесток!
number Я и не топлю за сторонние решения гула. Честно смотрю ютуб, но в обнимку со всемми актуальными адблоками и спонсорблоками, вырезанием помоев типа short'ов и бестолковых рекомендаций. Заглавная страница трубки минималистична, кнопки плеера удобны, но всё это после примерно десятка экстеншенов.
Для прокачки языка по видосикам (тренировка наслушенности - то о чём мы говорим выше; словарный запас - то что можно собрать из уже существующих) постоянно прихожу к очевидной модели: двуязычные сабы с постепенным закраванием (aka караоке) оригинальных; сведением двух оригинальной и переведённых дорог и управляемыми задержками друг относительно друга, громкостью в левом и правом каналах). Так устроен человеческий организм, в одно ухо должна влетать исходная речь, в другое её интерпретация, тогда всё это действительно ведёт к эффективному заучиванию.
Меня пока ещё пугают тёмные места в генерации яндексом потока mp3, фейлы по таймауту и необходимость перезапрашивать его. Как его синхронить на лайве, когда он уже получен, как глушить в стеремоде ещё один, чуть более очевидный пласт. Подозреваю кто-то этот велосипед уже делал.
https://github.com/AdguardTeam/CoreLibs/issues/1665
Для прокачки языка по видосикам (тренировка наслушенности - то о чём мы говорим выше; словарный запас - то что можно собрать из уже существующих) постоянно прихожу к очевидной модели: двуязычные сабы с постепенным закраванием (aka караоке) оригинальных; сведением двух оригинальной и переведённых дорог и управляемыми задержками друг относительно друга, громкостью в левом и правом каналах). Так устроен человеческий организм, в одно ухо должна влетать исходная речь, в другое её интерпретация, тогда всё это действительно ведёт к эффективному заучиванию.
Меня пока ещё пугают тёмные места в генерации яндексом потока mp3, фейлы по таймауту и необходимость перезапрашивать его. Как его синхронить на лайве, когда он уже получен, как глушить в стеремоде ещё один, чуть более очевидный пласт. Подозреваю кто-то этот велосипед уже делал.
https://github.com/AdguardTeam/CoreLibs/issues/1665
ru4nik, понимаю, о чём ты говоришь. Но всё в руках сильных.
Вот пишут, что youtube уже позволяет добавлять несколько аудио-дорожек для загружаемого видео. Авторы видео сами должны позаботиться о переводе - https://habr.com/ru/news/t/718904/.
Но и здесь, наверняка, будет тупой одиночный выбор, без наложения и тем более без L/R.
А стоит только дать прямые ссылки на исходные данные, не важно какие, видео или аудио, как любой маломальски знакомый с JS и HTML, напишет на коленке плеер с возможностью крутить бегунки на той же веб-странице для каждого медиа-ресурса в отдельности. На это сильные мира сего задают тот же вопрос, что и О.Бендер "Может быть, тебе дать еще ключ от квартиры, где деньги лежат?"
С нагрузками и прочей тоже пока приходится мириться.
Вот пишут, что youtube уже позволяет добавлять несколько аудио-дорожек для загружаемого видео. Авторы видео сами должны позаботиться о переводе - https://habr.com/ru/news/t/718904/.
Но и здесь, наверняка, будет тупой одиночный выбор, без наложения и тем более без L/R.
А стоит только дать прямые ссылки на исходные данные, не важно какие, видео или аудио, как любой маломальски знакомый с JS и HTML, напишет на коленке плеер с возможностью крутить бегунки на той же веб-странице для каждого медиа-ресурса в отдельности. На это сильные мира сего задают тот же вопрос, что и О.Бендер "Может быть, тебе дать еще ключ от квартиры, где деньги лежат?"
С нагрузками и прочей тоже пока приходится мириться.
Не, эта херабора не пашет нормально...даже скачал яндекс браузер в кой то веки - и там не пашет это драсширение...даже 2 версии установил одна пишет - "Не удалось запросить перевод видео" вторая - Слишком много запросов на перевод....При том что после установки - всё пашет ,а потом - отказывается...
п.с. запахало..толи из-за того что впн включил( я из Украины), толи из-за отключения адблока...кароч через одно место пашет...
п.с. запахало..толи из-за того что впн включил( я из Украины), толи из-за отключения адблока...кароч через одно место пашет...
jimbeam88, Я из Эстонии, так что вряд ли связано с территориально-политическим признаком.
P.S.
Заметил проблемы: увеличилось время и ухудшилось качество перевода с языков отличных от английского. Если раньше часовую лекцию переводило пять-десять минут, то сейчас и пол часа можно просидеть.
P.S.
Заметил проблемы: увеличилось время и ухудшилось качество перевода с языков отличных от английского. Если раньше часовую лекцию переводило пять-десять минут, то сейчас и пол часа можно просидеть.
Если звёзды зажигают, значит, это кому-нибудь нужно?
Padladin писал(а):jimbeam88, Я из Эстонии, так что вряд ли связано с территориально-политическим признаком.
P.S.
Заметил проблемы: увеличилось время и ухудшилось качество перевода с языков отличных от английского. Если раньше часовую лекцию переводило пять-десять минут, то сейчас и пол часа можно просидеть.
да, уже 100% я проверил, по крайней мере из Украины надо включать ВПН что бы пахало...
youtube анонсировал функцию автоматического голосового перевода видео на иностранные языки с помощью ИИ (для примера английский/испанский). Раз кто-то один решил провернуть такое, скоро это станет мейнстримом Классно и круто!
Но всё равно считаю что изучение языка с текущим уровнем технологий (а они будут становиться только лучше и лучше т.к IT сфера тянет просто всё вперед) это офигительно крутой процесс и однозначно стоит затраченных сил, особенно если есть необхдимость улучшать знания языка в личной профессиональной сфере
в настройках видео нужно просто выбрать дорожку перевода
Но всё равно считаю что изучение языка с текущим уровнем технологий (а они будут становиться только лучше и лучше т.к IT сфера тянет просто всё вперед) это офигительно крутой процесс и однозначно стоит затраченных сил, особенно если есть необхдимость улучшать знания языка в личной профессиональной сфере
в настройках видео нужно просто выбрать дорожку перевода
С одной стороны - вот оно. В обозримом будущем получим автономный переводчик, полностью стирающий языковой барьер. С другой стороны: мы будем потреблять недостоверную информацию. Потому что появится потребность в том, что бы заставить нейронку искажать изначальный смысл на уровне эмоций, при этом оставаясь абсолютно корректным в плане лингвистики.
Если звёзды зажигают, значит, это кому-нибудь нужно?
мне вообще кажется что такие умные ИИ-вещи, способны сгенерировать простейший путь к освоению любого языка в наикратчайшие сроки и вот такая возможность переключения видео с одного языка на другой станет базовой нормой для любого изучающего язык, т.е новизна этой штуки перестанет быть таковой за считанные годы (месяцы, секунды? ) и собственно с этим будет проще изучать язык
С одной стороны, вроде как хорошо, но с другой - люди окончательно разучатся думать своей головой, изучать языки, считать, читать и т.д. всё это в совокупности приведёт к абсолютному оболваниванию и отуплению населения. Зачем что-то делать, если за тебя всё сделает ИИ? Только в какой-нибудь критической ситуации, если всё это отберут, окажется, что люди совершенно не приспособлены к суровой реальности. Попробуй отобрать у какой-нибудь губастой инстаграммной сучки смартфон для создания селфи или отвезти её в какую-нибудь глухую деревню без интернета и она сдохнет или потеряет рассудок, потому что исчезнет её смысл жизни. Также и здесь.
Вот это круто, я считаю:
Появилась нейросеть, которая переводит видео на другой язык — сохраняя голос с оригинальной записи и дорисовывая правильное движение губ
https://www.pravilamag.ru/news/science-and-technology/11-09-2023/706805-poyavilas-neiroset-kotoraya-perevodit-video-na-drugoi-yazyk-sohranyaya-golos-s-originalnoi-zapisi-i-dorisovyvaya-pravilnoe-dvijenie-gub/
P.S. Скоро будем смотреть фильмы с оригинальной озвучкой на русском языке.
Появилась нейросеть, которая переводит видео на другой язык — сохраняя голос с оригинальной записи и дорисовывая правильное движение губ
https://www.pravilamag.ru/news/science-and-technology/11-09-2023/706805-poyavilas-neiroset-kotoraya-perevodit-video-na-drugoi-yazyk-sohranyaya-golos-s-originalnoi-zapisi-i-dorisovyvaya-pravilnoe-dvijenie-gub/
P.S. Скоро будем смотреть фильмы с оригинальной озвучкой на русском языке.
кста думаю разницы все равно не будет, толи дубляж, толи нейросеть, язык останется языком, прикол смотреть на немецком, французском, японском всегда будет, теперь это вещь из мира людей, а если будет полное слияние человеко-машинного интеллекта то всегда ->> типо слышь ты фотку скинь, ты человек или робот
Flowery писал(а):прикол смотреть на немецком, французском, японском всегда будет
Ну это на любителя, как говорится. Не все понимают иностранные языки, а послушать на своём языке хочется. Понятно, что сейчас качество такого машинного перевода очень далеко до идеального, но думаю, со временем, такие технологии будут улучшаться.
Kreed писал(а):Уже многие протестуют против ии и нейросетей из-за того, что они отнимут работу, так что их бурное развитие может и приостановиться
Многие протестовали против паровозов, поездов, автомобилей, компьютеров, сотовых телефонов и т.д. Ни один протест не возымел должного эффекта. Так что и здесь, я думаю, протест постепенно затихнет. А синхронный переводчик с такими возможностями в сегодняшнем мире - вещь полезная.
Сообщений: 54
• Страница 2 из 3 • 1, 2, 3
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9