Синхронный переводчик при помощи нейросети.

Сообщение jimbeam88 » 19 фев 2023, 17:52

опять долбаная проблема в виде "Не удалось запросить перевод видео"

при том когда расширение(у меня - Хром) отказывается таким вот образом, то перестают переводится и те видео которые расширение уже перевело какое-то время назад...
Аватара пользователя
jimbeam88
Не прошло и года
Сообщения: 276
Репутация: 120
Статус: Не в сети

Сообщение DimonamoN » 19 фев 2023, 18:57

Вот еще прикольная тема :)



Короче, ИИ скоро победит всех и вся, недолго нам коптить осталось :lol: :im:
Аватара пользователя
DimonamoN
Меценат III-го уровня В первых рядах В центре внимания (I-го уровня) Работал над Книгой Тираэля Засветился на главной Девять с половиной стеклопушек
Сообщения: 29601
Откуда: Мариуполь
Репутация: 22733
Статус: Не в сети

Сообщение ru4nik » 27 фев 2023, 12:33

number, подскажи куда копать. Мне нужно разделить стереоканал на перевод и оригинал в левое и правое ухо (так гораздо чётче учится язык, так принято на всяких конференциях с разноязычными синхропереводами). API даёт доступ к громкости потоков по стерео или всё сыпится в единый зажимаемый AAC-LC 44,1кГц стерео? До публичного API использовал настройки винды, чтобы Я.браузер шёл в один, Хром в другой. А далее на RealtekHD сводил два аппаратных в единый L+R.
Аватара пользователя
ru4nik
Семь раз отмерь, один раз стеклопушка
Сообщения: 3
Репутация: 1
Статус: Не в сети

  • 2

Сообщение number » 27 фев 2023, 18:07

ru4nik, тут копать и копать :)
1) Все аппаратные и программные решения рабочие - но нужно, как ты предложил два браузера или две сетевые аудиокарты, и выводить на колонки одно, на наушники другое.
2) В скрипте от Яндекса не вижу следов каналов.
3) В API от Яндекса - https://github.com/yandex/audio-js - тоже пусто.
4) Но от Яндекса я пошёл к Web Audio Api и это уже будоражит воображение - https://github.com/yandex/audio-js/blob ... dio-api.md
Там интересует функция: ChannelSplitterNode - элемент, который принимает на вход один многоканальный поток и выдает набор моноканальных потоков;

Чтобы понять, что оно работает можно поиграться с https://codepen.io/Rumyra/pen/qyMzqN/
там только путь на mp3 нужно указать в блоке HTML в 28 строке, в теге audio -> src="сюда".

С видео проблемы. Youtube не хочет отдавать своё видео для вопроизведения, также как и другие видеохостинги. Еле нашёл доступный MP4 без ограничений, другие ругаются и не воспроизводятся - http://commondatastorage.googleapis.com ... kBunny.mp4. Если тег audio поменять на video, не поможет.

Вот как только станет понятно, как же с трубы в плеер подсовывать видео, встанет другая задача - как запускать одновременно и можно ли регулировать по отдельности разные ресурсы влево, вправо.

В конце привести к нормальному виду, например, на отдельной странице передавать ссылку на видео youtube, там дальнейшая генерация всего необходимого и два регулятора для перевода и оригинала.
Последний раз редактировалось number 28 фев 2023, 07:23, всего редактировалось 1 раз.
Аватара пользователя
number
Четыре года на стекле
Сообщения: 589
Репутация: 983
Статус: Не в сети

  • 1

Сообщение BiRd » 27 фев 2023, 20:13

mirok, Эту функцию я на боковые кнопки мыши повесил, хоум и энд, оч крутая тема кста.

А яндекс норм, но он сука свои днс подперживает и через него не пашет антизапрет с роутера, ну и тоже все на гугл акке у меня, а так все браузеры стоят, кропе оперы и фф у меня, недавно в эдж кста все перенес из хрома, из коробки у винды сейчас оч крутой браузер тоже стал.

PS попробовал сейчас ябраузер- стал рабоать с антизапретом, это круто, поюзаю его пока, он все таки имхо сейчас удобнее и быстрее всех. Причем он ппц как быстрее хрома, я в шоке , очень круто.
Аватара пользователя
BiRd
В первых рядах Девять с половиной стеклопушек
Сообщения: 3423
Репутация: 3566
Статус: Не в сети

  • 2

Сообщение number » 28 фев 2023, 07:22

ru4nik, подумал с утра на свежую голову. Первая мысль, которая пришла, если бы видеохостинги отдавали видео всем подряд, то я бы первым делом сделал обычный плеер для воспроизведения музыки с youtube, с перемотками, переключением треков и.т.д., включая эквалайзер на странице. И такое решение уже было бы и вполне пользовалось популярностью, но реклама и всё такое - терять деньги и просмотры никто не будет.
Поискал, на всякий случай, у ютуба API. Там предлагается в iframe засовывать и им управлять программно, но снова про каналы никто не думает. Решения на гитхабе косвенно подтверждают безысходность. Как здесь: https://github.com/sampotts/plyr

В общем, если тебе не нужно само видео, а только звук, и не пугают небольшие временные издержки, то я бы поступил так - скачал бы mp3 из youtube, есть всякие сервисы и проги для этого. Также скачал mp3 перевода. Засунул бы в разные дорожки в аудиоредактор и разделил бы их по каналам. Даже бесплатная Audacity подойдёт. А дальше хоть в самом редакторе слушать, хоть в mp3 экспортировать с разделёнными R/L и слушать где и когда угодно. (Но всё это уже незаконно)

Спасибо за задачку! :thumbup: Но мир лицензий, патентов и исключительных прав жесток! :lemon:
Аватара пользователя
number
Четыре года на стекле
Сообщения: 589
Репутация: 983
Статус: Не в сети

  • 1

Сообщение ru4nik » 28 фев 2023, 15:08

number Я и не топлю за сторонние решения гула. Честно смотрю ютуб, но в обнимку со всемми актуальными адблоками и спонсорблоками, вырезанием помоев типа short'ов и бестолковых рекомендаций. Заглавная страница трубки минималистична, кнопки плеера удобны, но всё это после примерно десятка экстеншенов.

Для прокачки языка по видосикам (тренировка наслушенности - то о чём мы говорим выше; словарный запас - то что можно собрать из уже существующих) постоянно прихожу к очевидной модели: двуязычные сабы с постепенным закраванием (aka караоке) оригинальных; сведением двух оригинальной и переведённых дорог и управляемыми задержками друг относительно друга, громкостью в левом и правом каналах). Так устроен человеческий организм, в одно ухо должна влетать исходная речь, в другое её интерпретация, тогда всё это действительно ведёт к эффективному заучиванию.

Изображение
Меня пока ещё пугают тёмные места в генерации яндексом потока mp3, фейлы по таймауту и необходимость перезапрашивать его. Как его синхронить на лайве, когда он уже получен, как глушить в стеремоде ещё один, чуть более очевидный пласт. Подозреваю кто-то этот велосипед уже делал.
https://github.com/AdguardTeam/CoreLibs/issues/1665
Аватара пользователя
ru4nik
Семь раз отмерь, один раз стеклопушка
Сообщения: 3
Репутация: 1
Статус: Не в сети

  • 2

Сообщение number » 05 мар 2023, 05:40

ru4nik, понимаю, о чём ты говоришь. Но всё в руках сильных.
Вот пишут, что youtube уже позволяет добавлять несколько аудио-дорожек для загружаемого видео. Авторы видео сами должны позаботиться о переводе - https://habr.com/ru/news/t/718904/.
Но и здесь, наверняка, будет тупой одиночный выбор, без наложения и тем более без L/R.

А стоит только дать прямые ссылки на исходные данные, не важно какие, видео или аудио, как любой маломальски знакомый с JS и HTML, напишет на коленке плеер с возможностью крутить бегунки на той же веб-странице для каждого медиа-ресурса в отдельности. На это сильные мира сего задают тот же вопрос, что и О.Бендер "Может быть, тебе дать еще ключ от квартиры, где деньги лежат?" :D

С нагрузками и прочей тоже пока приходится мириться. :bored:
Аватара пользователя
number
Четыре года на стекле
Сообщения: 589
Репутация: 983
Статус: Не в сети

  • 1

Сообщение Padladin » 07 мар 2023, 04:30

number, Чувак, ты охуенен. Спасибо за указание пути.
ru4nik, тебе спасибо за поднятый вопрос.
Если звёзды зажигают, значит, это кому-нибудь нужно?
Аватара пользователя
Padladin
В первых рядах Засветился на главной Девять с половиной стеклопушек
Сообщения: 2495
Откуда: Эстония.
Репутация: 2482
Статус: Не в сети

Сообщение jimbeam88 » 08 мар 2023, 13:24

Не, эта херабора не пашет нормально...даже скачал яндекс браузер в кой то веки - и там не пашет это драсширение...даже 2 версии установил одна пишет - "Не удалось запросить перевод видео" вторая - Слишком много запросов на перевод....При том что после установки - всё пашет ,а потом - отказывается...

п.с. запахало..толи из-за того что впн включил( я из Украины), толи из-за отключения адблока...кароч через одно место пашет...
Аватара пользователя
jimbeam88
Не прошло и года
Сообщения: 276
Репутация: 120
Статус: Не в сети

Сообщение Padladin » 09 мар 2023, 21:17

jimbeam88, Я из Эстонии, так что вряд ли связано с территориально-политическим признаком.
P.S.
Заметил проблемы: увеличилось время и ухудшилось качество перевода с языков отличных от английского. Если раньше часовую лекцию переводило пять-десять минут, то сейчас и пол часа можно просидеть.
Если звёзды зажигают, значит, это кому-нибудь нужно?
Аватара пользователя
Padladin
В первых рядах Засветился на главной Девять с половиной стеклопушек
Сообщения: 2495
Откуда: Эстония.
Репутация: 2482
Статус: Не в сети

Сообщение jimbeam88 » 10 мар 2023, 23:16

Padladin писал(а):jimbeam88, Я из Эстонии, так что вряд ли связано с территориально-политическим признаком.
P.S.
Заметил проблемы: увеличилось время и ухудшилось качество перевода с языков отличных от английского. Если раньше часовую лекцию переводило пять-десять минут, то сейчас и пол часа можно просидеть.


да, уже 100% я проверил, по крайней мере из Украины надо включать ВПН что бы пахало...
Аватара пользователя
jimbeam88
Не прошло и года
Сообщения: 276
Репутация: 120
Статус: Не в сети

  • 2

Сообщение Flowery » 23 июн 2023, 12:38

youtube анонсировал функцию автоматического голосового перевода видео на иностранные языки с помощью ИИ (для примера английский/испанский). Раз кто-то один решил провернуть такое, скоро это станет мейнстримом :) Классно и круто!
Но всё равно считаю что изучение языка с текущим уровнем технологий (а они будут становиться только лучше и лучше т.к IT сфера тянет просто всё вперед) это офигительно крутой процесс и однозначно стоит затраченных сил, особенно если есть необхдимость улучшать знания языка в личной профессиональной сфере :thumbup:



в настройках видео нужно просто выбрать дорожку перевода :nerd:
Аватара пользователя
Flowery
В первых рядах Девять с половиной стеклопушек
Сообщения: 2960
Откуда: Планета Земля
Репутация: 2520
Статус: Не в сети

Сообщение Padladin » 23 июн 2023, 19:19

С одной стороны - вот оно. В обозримом будущем получим автономный переводчик, полностью стирающий языковой барьер. С другой стороны: мы будем потреблять недостоверную информацию. Потому что появится потребность в том, что бы заставить нейронку искажать изначальный смысл на уровне эмоций, при этом оставаясь абсолютно корректным в плане лингвистики.
Если звёзды зажигают, значит, это кому-нибудь нужно?
Аватара пользователя
Padladin
В первых рядах Засветился на главной Девять с половиной стеклопушек
Сообщения: 2495
Откуда: Эстония.
Репутация: 2482
Статус: Не в сети

Сообщение Flowery » 23 июн 2023, 19:46

мне вообще кажется что такие умные ИИ-вещи, способны сгенерировать простейший путь к освоению любого языка в наикратчайшие сроки и вот такая возможность переключения видео с одного языка на другой станет базовой нормой для любого изучающего язык, т.е новизна этой штуки перестанет быть таковой за считанные годы (месяцы, секунды? :peka: ) и собственно с этим будет проще изучать язык :hungry: :dumb:
Аватара пользователя
Flowery
В первых рядах Девять с половиной стеклопушек
Сообщения: 2960
Откуда: Планета Земля
Репутация: 2520
Статус: Не в сети

Сообщение DimonamoN » 23 июн 2023, 21:08

Flowery, ага, и промывка мозгов станет еще проще. Доставка "контента" в любую точку мира...
Аватара пользователя
DimonamoN
Меценат III-го уровня В первых рядах В центре внимания (I-го уровня) Работал над Книгой Тираэля Засветился на главной Девять с половиной стеклопушек
Сообщения: 29601
Откуда: Мариуполь
Репутация: 22733
Статус: Не в сети

Сообщение Flowery » 23 июн 2023, 21:31

DimonamoN, война за информацию ведь и не заканчивалась ^^ а контент и так уже доставляют, не важно есть там перевод или нет :beaten:
Аватара пользователя
Flowery
В первых рядах Девять с половиной стеклопушек
Сообщения: 2960
Откуда: Планета Земля
Репутация: 2520
Статус: Не в сети

Сообщение DimonamoN » 23 июн 2023, 21:56

Flowery, да уж, что есть, то есть...
Аватара пользователя
DimonamoN
Меценат III-го уровня В первых рядах В центре внимания (I-го уровня) Работал над Книгой Тираэля Засветился на главной Девять с половиной стеклопушек
Сообщения: 29601
Откуда: Мариуполь
Репутация: 22733
Статус: Не в сети

  • 1

Сообщение Timur_A » 23 июн 2023, 22:09

С одной стороны, вроде как хорошо, но с другой - люди окончательно разучатся думать своей головой, изучать языки, считать, читать и т.д. всё это в совокупности приведёт к абсолютному оболваниванию и отуплению населения. Зачем что-то делать, если за тебя всё сделает ИИ? Только в какой-нибудь критической ситуации, если всё это отберут, окажется, что люди совершенно не приспособлены к суровой реальности. Попробуй отобрать у какой-нибудь губастой инстаграммной сучки смартфон для создания селфи или отвезти её в какую-нибудь глухую деревню без интернета и она сдохнет или потеряет рассудок, потому что исчезнет её смысл жизни. Также и здесь.
Аватара пользователя
Timur_A
Песнь стекла и пушек
Сообщения: 1399
Откуда: Россия
Репутация: 1789
Статус: Не в сети

  • 3

Сообщение Flowery » 23 июн 2023, 22:42

вот так и будет :D



мы уже там xD
Аватара пользователя
Flowery
В первых рядах Девять с половиной стеклопушек
Сообщения: 2960
Откуда: Планета Земля
Репутация: 2520
Статус: Не в сети

  • 3

Сообщение Padladin » 23 июн 2023, 22:48

Timur_A писал(а):разучатся думать своей головой

Изображение
Если звёзды зажигают, значит, это кому-нибудь нужно?
Аватара пользователя
Padladin
В первых рядах Засветился на главной Девять с половиной стеклопушек
Сообщения: 2495
Откуда: Эстония.
Репутация: 2482
Статус: Не в сети

  • 1

Сообщение Timur_A » 11 сен 2023, 21:39

Вот это круто, я считаю:

Появилась нейросеть, которая переводит видео на другой язык — сохраняя голос с оригинальной записи и дорисовывая правильное движение губ

https://www.pravilamag.ru/news/science-and-technology/11-09-2023/706805-poyavilas-neiroset-kotoraya-perevodit-video-na-drugoi-yazyk-sohranyaya-golos-s-originalnoi-zapisi-i-dorisovyvaya-pravilnoe-dvijenie-gub/

P.S. Скоро будем смотреть фильмы с оригинальной озвучкой на русском языке.
Аватара пользователя
Timur_A
Песнь стекла и пушек
Сообщения: 1399
Откуда: Россия
Репутация: 1789
Статус: Не в сети

  • 1

Сообщение Flowery » 12 сен 2023, 15:25

кста думаю разницы все равно не будет, толи дубляж, толи нейросеть, язык останется языком, прикол смотреть на немецком, французском, японском всегда будет, теперь это вещь из мира людей, а если будет полное слияние человеко-машинного интеллекта то всегда ->> типо слышь ты фотку скинь, ты человек или робот :peka: :dumb: :lol:
Аватара пользователя
Flowery
В первых рядах Девять с половиной стеклопушек
Сообщения: 2960
Откуда: Планета Земля
Репутация: 2520
Статус: Не в сети

  • 1

Сообщение Kreed » 12 сен 2023, 15:38

Timur_A,
Скоро будем смотреть фильмы с оригинальной озвучкой на русском языке.

Уже многие протестуют против ии и нейросетей из-за того, что они отнимут работу, так что их бурное развитие может и приостановиться в какой-то момент, если ситуация совсем начнет выходить из под контроля))
Аватара пользователя
Kreed
В первых рядах В центре внимания (I-го уровня) Девять с половиной стеклопушек
Сообщения: 4688
Репутация: 3853
Статус: Не в сети

  • 1

Сообщение Timur_A » 12 сен 2023, 16:41

Flowery писал(а):прикол смотреть на немецком, французском, японском всегда будет

Ну это на любителя, как говорится. Не все понимают иностранные языки, а послушать на своём языке хочется. Понятно, что сейчас качество такого машинного перевода очень далеко до идеального, но думаю, со временем, такие технологии будут улучшаться.

Kreed писал(а):Уже многие протестуют против ии и нейросетей из-за того, что они отнимут работу, так что их бурное развитие может и приостановиться

Многие протестовали против паровозов, поездов, автомобилей, компьютеров, сотовых телефонов и т.д. Ни один протест не возымел должного эффекта. Так что и здесь, я думаю, протест постепенно затихнет. А синхронный переводчик с такими возможностями в сегодняшнем мире - вещь полезная.
Аватара пользователя
Timur_A
Песнь стекла и пушек
Сообщения: 1399
Откуда: Россия
Репутация: 1789
Статус: Не в сети

Пред.След.

Вернуться в Железо и Софт



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 12