Мы работаем при поддержке
06.05.2024. Понедельник

 
Уникальный аппарат превращает слова в жестыНовосибирские учёные разработали уникальную компьютерную программу. Она призвана унифицировать язык жестов, которым пользуются люди с нарушениями слуха. Дело в том, что у глухонемых не существует единого языка. Даже самые ходовые слова нередко обозначаются разными жестами. Чтобы преодолеть эту проблему, специалисты Института социальной реабилитации решили применить компьютерные возможности.

Четко в микрофон. С толком, расстановкой. Фраза трансформируется в печатный текст. Слово – в жест. По сути, компьютерный сурдопереводчик так и работает. Плюс – текст можно вводить с клавиатуры. Ученые назвали свое детище программно-аппаратным комплексом жестовой речи. В его арсенале – 4 тысячи слов. На каждое снят видеожест. Если слово трудное, система пытается подобрать синоним. Если такого нет, то электронный сурдопереводчик разобьет его на слоги и буквы. Сейчас студенты видят на экране девушку-переводчика. Возможно, скоро ее заменит компьютерный манекен.

«Дело в том, что для показа видеоперевода жестов человек должен выглядеть одинаково, в одной одежде, с одинаковой прической, но если мы дополняем переводчик новыми словами, этого добиться трудно, приходится идти на ухищрения», – объясняет профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета, доктор технических наук Михаил Гриф.


Артём – один из студентов Института социальной реабилитации при НГТУ. Когда ему исполнился год, заболел и на всю жизнь потерял слух. Учился говорить на пальцах. Когда поступил в вуз, понял, что его жесты – это набор жаргонных фраз. Настоящий язык глухих начал учить только здесь. Параллельно осваивает новые знания. Корректура, математика, логика. Эти студенты, хоть и живут в мире тишины, но они не изолированы от остального мира. И каждый пытается в нем устроиться.

Институт социальной реабилитации – учебная площадка для ребят с разными патологиями. Львиная доля студентов – с нарушениями слуха. Сравнивая компьютер и живого сурдопереводчика, говорят: приятнее общаться с человеком. А вот преподаватели, изучающие язык жестов, видят в новой системе большой плюс.

«Я – преподаватель, готовлюсь к занятиям, дома могу посмотреть, как выполняются те или иные жесты», – рассказывает преподаватель информационных технологий Института социальной реабилитации НГТУ Алла Бертик.

Сегодня новосибирский комплекс жестовой речи – уникален. Аналогов ему нет. Скорость компьютерного перевода приближается к скорости работы сурдопереводчика. Меж тем ученые признаются, практическая ценность его пока не так велика, как научная.

«Здесь научная составляющая достаточно велика, это область искусственного интеллекта,» – поясняет Михаил Гриф.

Между тем новой разработкой уже заинтересовались врачи. Поставить диагноз глухонемому больному не так просто. Но теперь появилась возможность понять пациента, который не может ни спросить, ни ответить. Доктор может пройти элементарный спецкурс, запустив компьютерную программу. Ну а совсем скоро, как обещают ученые, появится сурдопереводчик версии ЗD. 
 

Не забывайте писать комментарии, а также присоединяться к нам в социальных сетях: ВКонтакте, Twitter, Instagram, YouTube, Facebook. Обязательно ставьте наше мобильное приложение для Android и iPhone.



 

Комментарии

Студент
#26 Студент 02.03.2012 21:59
Вы правильно поняли, я учусь не у вас. Спасибо за ссылки! Очень помогли! Мой вопрос закрыт
изнутри ИСР
#25 изнутри ИСР 02.03.2012 13:35
Педалирование жалости к себе, инфантильность - это просто бич. Ситуация сейчас такая - ребята не просто давят на сочувствие, а точно знают, что с ними ничего не будет, хоть весь семестр ходи в долгах как в шелках. Когда в 1995 году к нам был назначен Птушкин Г. С., он, ознакомившись со состоянием дел на то время в НИСОРе, восклицал: "Да это же профанация учебы!". Знаю, реакция была искренняя, это была реакция человека со стороны. И реально были действия, направленные на наведение порядка в сфере обучения, в хозяйстве, в своевременном выплате зарплат и прочих сферах. И, пока его заместитель Дагаев был жив, в учебе были требования к студентам, ниже которого не опускались. Но после, незаметно так, постепенно, исподволь, в течение нескольких лет требования снижались. Теперь на самом верхнем уровне мне указывают, что надо бы вот этому-то поставить в зачетку, не спрашивая его ни о чем. Просто придет на консультацию, и за факт прихода ("Ну пришел же, это надо заценить") поставить. Иначе сам поставит в зачетку "я же кандидат наук, имею право, а ты кто такой?" Вместо положенных по закону трех попыток сдачи экзамена тупо продолжают сдавать до упора. Сроки сдачи долгов не устанавливаются , ничего на бумаге и в приказах не фиксируется, кроме случаев, когда студента хотят наказать. Провинившийся студент продолжает считать, что опять будет как всегда, а тут ему приказ об отчислении Оглянувшись на 15 лет назад, я сам восклицаю - "что? опять профанация?". Когда я вслух так и сказал, цыкнули - "тихо ты, а вдруг Птушкин услышит". За Птушкиным признаю заслуги, он много сделал для функционировани я института, но в отдельной области - в сфере учёбы - опять скатываемся к тому времени(
Михаил Анискевич
#24 Михаил Анискевич 02.03.2012 12:13
Цитирую изнутри ИСР:
Плохо (в смысле самое хреновое) то, что приоритеты значимости в образовании глухих смещены. Самое актуальное для глухих – получить качественное образование и профессию для реальной карьеры в будущем, пусть и пока без научных достижений. Будет база для этого, будет от чего и отталкиваться..

В принципе все верно. Но самое актуальное для глухих, это не просто получить качественное образование. Самое важное, я думаю получить практику, почувствовать свои силы, приобрести уверенность а с ней и значимость. Значимость в том, что ты можешь, умение, а не просто набор знаний, которые без практики со временем выветрятся. Значимость в том, что ты можешь быть не хуже чем остальные... нет, не хуже слышащих, здоровых, в некоторых случаях даже равным быть, либо в исключительных, даже превосходить в чем то.
А так получается, ребята с нарушением слуха, пестуют в себе исключительност ь, - вот мол я глухой, к нам нужен особый подход. Со временем уже будет трудно бороться с самомнением, ложными целями и установками... - вот у меня не получается, я не могу, значит зря учился, терял время. Преподы в институте очень хорошие, в ВУЗе я думаю еще лучше. Не знаю как сейчас, но тогда, никто не был заинтересован, чтобы инвалиды ставили себе цели и добивались их. Такие навыки в жизни бы и не только в карьере, здорово могли пригодиться. Этому никто не учит, нигде. Вот и получается, что глухие замкнуты в своем мире, со стороны кажутся наивными и доверчивыми.
изнутри ИСР
#23 изнутри ИСР 01.03.2012 18:23
А слышащие преподы не горят желанием впрямую общаться с глухими, без посредников в лице сурдопереводчик ов. Их интересуют те направления, где можно лавры в виде научных званий заработать. Вот если исходить из серьезных, государственных интересов, посмотреть - где же можно серьезные квалифицированн ые кадры раздобыть – то можно из внутренних ресурсов же раздобыть, тем более что из-за хреновой экологии в родной стране всё больше детей переводятся в разряд глухих/слабослы шащих. И расставить приоритеты. Но надо тогда же заценить тех преподов, которые по изначально душевной доброте не посмотрели на то, а наукоемко ли то направление (в смысле добычи научных званий и связанных с этим благ), а искренне хотели помочь тем, кто оказался в беде из-за глухоты и связанными с этим проблемами. В свое время выдвигал предложения хотя бы материально заинтересовать (в виде доплатов) тех преподов, кто перешел бы на язык, доступный для вот конкретных глухих. Но, так понимаю, само руководство (само пришлое из среды слышащих и не способное перейти на язык глухих) не прочувствовало интереса в этом вопросе. Так ситуация и остается прежней – преподы делают вид, что верят тому, что переводчики точно переводят слова глухим, а переводчики делают вид, что обеспечивают точный перевод. Даже трудный с технической точки зрения квалификации сурдопереводчик ов, не оканчивавших университеты. Если в среде слышащих студентов есть шутка – “Главное, понравиться преподавателю”, то у глухих эта шутка немного трансформируетс я в другую: “Главное, понравиться сурдопереводчик у”. Потому что как здесь не препод, а сурдопереводчик – ключевая фигура. Часто видел ситуации, когда препод излагал свою лекцию, а в это же время сурдопереводчик распекал нерадивого студента за пропуски занятий. Если бы препод понимал хоть немного, он бы дал бы время сурдопереводчик у обговорить со студентом детали и выждал бы.
Нда, длинно получилось… Но проблем хватает до хрена и без этих научных штучек.
изнутри ИСР
#22 изнутри ИСР 01.03.2012 18:22
Плохо (в смысле самое хреновое) то, что приоритеты значимости в образовании глухих смещены. Самое актуальное для глухих – получить качественное образование и профессию для реальной карьеры в будущем, пусть и пока без научных достижений. Будет база для этого, будет от чего и отталкиваться. Счас мода на благотворительн ость охренительна, наши преподы прочувствовали, в каком направлении двигаться. Генерируют “научные” труды – что вот, чел в аутизме, подводят базу под то, что если б не болезнь, чел точно бы стал гением. Если б не глухота, ну точно был бы гением. Кошмаррррр!!! Невозможно при таком социальном заказе (впрямую не высказываемом) адекватно доказывать, что прирожденный дурак и при глухоте дураком и останется. В ответ и слышишь: “Но он жжже глухоооой” с гневными блесками в очах.
изнутри ИСР
#21 изнутри ИСР 01.03.2012 18:17
Есть анекдоты про британских ученых, вот я их читаю и вижу, как же они смахивают на наших, рассейских. Вот Михаил Геннадьевич Гриф уприрает на то, что в программных продуктах используется научный потенциал разработок искусственного интеллекта. В разговорах с нашим директором ИСР НГТУ упирает (педалирует) на слово “это научно”, “научно!!!”. Хотя в разработках в 1995-1998 году как главный инженер-програм мист, как завлаб я конфликтовал с ним. У меня главная цель была – успеть к сибирской ярмарке создать работоспособную программу , пусть и не опирающуюся на мифический матаппарат нечеткой логики (за что и был уволен в ходе аппаратных игр, из чего я сделал вывод – ну и пусть ты глухой, тебя хвалят и жалеют до тех пор, пока ты не конкурент. Потом тебя всерьез будут воспринимать и в ход пойдут аппаратные приемчики). А у него фишка была – напустить пыль, повысить свою значимость. Не знаю почему, мож папа его требовал повторить его же достижения. Сам папа действительно научное светило, без дураков, авторитет честно заработанный. Но чел он сам средних способностей (неглупый), пусть и унаследовавший влияние в научных кругах института. Теперь вот и сына своего продвигает).
изнутри ИСР
#20 изнутри ИСР 01.03.2012 18:14
Погуглил по инету.... Терь масса ссылок. Вот наиболее интереесные:
http://surdoserver.ru/
http://signlang.ru/ (от него куча ссылок, в том числе и у читателя сайта)
Но стоп!!! Вот в чём загвоздка? Когда НИСОР в 1995 году объединяли, то есть инкорпорировали в состав в НГТУ, не очень-то представляли, а в чём был интерес вот этой самой матки. А у них был свой интерес - федеральное финансирование (то есть бюджетирование из самой Москвы). На словах всё было сладко, мы, мол, вас глухих жалеем и типа понимаем. На первое время было автономное финансирование, а потом сказали – вы в составе нашего института и потому должны подчиняться нашим внутренним законам. И нету больше нашей бухгалтерии, есть общая бухгалтерия в составе НГТУ, которая находится в первом (главном) корпусе НГТУ. Как теперь распределяются финансовые потоки, одному богу известно.
Но не это самое страшное (в смысле хуёвое). Плохо то, что мы живём по законам зазеркалья, принятым в мире слышащих. Вместо того, чтобы озадачиться качеством образования для глухих, у которых и так стартовые позиции хреновые, генерируют рапорты типа как у нас глухие развиваются, ох как же здорово!!
МГЕР
#19 МГЕР 01.03.2012 11:09
Цитирую Студент:
Барнаулец, изнутри ИСР, не знаете, в Новосибирске кроме как в ИСР, где-ниб ведутся разработки в этой области? учусь на последнем курсе, хочу пойти в аспирантуру по этой теме (интересует тема перевода), но к Грифу, как я понял, идти не стоит- ни себе, ни людям, только потерянное время

http://molgvardia54.ru/news/171/
Написать можно через сайт.
изнутри ИСР
#18 изнутри ИСР 29.02.2012 16:05
Студент, я так понял, что не у нас учитесь? Иначе сориентировался бы к кому подойти. Барнаулец прав, можно сперва к Бертик Алле Абрамовне подойти (она есть на видео, можно ее в лицо запомнить), а дальше сориентироватьс я. Если к тому же Вы глухой/слабослы шащий, думаю, Гриф будет заинтересован в выпуске первого глухого аспиранта ИСР НГТУ и обеспечит режим наибольшего благоприятствов ания. Можно также посмотреть в НГПУ и МГПУ, где готовят сурдопедагогов. Краем уха слыхал (не помню ссылку) в МГПУ вроде как открывается магистратура и аспирантура по РЖЯ, за точность не ручаюсь.
Михаил Анискевич
#17 Михаил Анискевич 29.02.2012 04:19
Цитирую Студент:
Барнаулец, изнутри ИСР, не знаете

Не понял, это вопрос или утверждение?
Довелось проходить обучение с 1995 по 2000 года, правда в Вуз не пошел, мне колледжа хватило.

Цитирую Студент:
в Новосибирске кроме как в ИСР, где-ниб ведутся разработки в этой области? учусь на последнем курсе, хочу пойти в аспирантуру по этой теме (интересует тема перевода), но к Грифу, как я понял, идти не стоит- ни себе, ни людям, только потерянное время

Не могу что либо конкретного сказать как и пожелать. 12 лет утекло. Договаривайся с твоим классным либо с теми кто ведут твой диплом, либо ищи единомышленнико в, даже не только в стенах института но и в интернете, "вкуривай форумы";) может связаться с другими институтами, с другими студентами. Пусть хоть и слышащими, а можно и прецедент создать, сделать проект интерактивным, связаться с не слышащими из других университетов, из Бауманки например. Короче идей много с генерировать можно. К Бертик обратись что ли, я на Грифа бочку катить не собираюсь, и не понимаю почему и его сразу со счетов сбрасываете, боитесь, что авторство украдет у кандидатской? Не ставь себе рамки, кто ищет тот всегда найдет.

изнутри ИСР думаю чем нибудь да поможет
Студент
#16 Студент 28.02.2012 19:06
Барнаулец, изнутри ИСР, не знаете, в Новосибирске кроме как в ИСР, где-ниб ведутся разработки в этой области? учусь на последнем курсе, хочу пойти в аспирантуру по этой теме (интересует тема перевода), но к Грифу, как я понял, идти не стоит- ни себе, ни людям, только потерянное время
изнутри ИСР
#15 изнутри ИСР 21.02.2012 15:22
Спрошу у своего другана из Барнаула)
Михаил Анискевич
#14 Михаил Анискевич 20.02.2012 15:36
Цитирую изнутри ИСР:
Посмотрел. Барнаулец, откуды у тя адрес http://www.digitgestus.com ? Это всё из проекта 1998. Догадываюсь, кто ты и догадываюсь, что ты меня знаешь). Спишемся?


Адрес из сети, поиском погуглил и выловил.Действи тельно там все ребята до 2000 года выпуска. Сомневаюсь, что вы меня знаете, впрочем попутка не пытка)) Я вот честно говоря не подозреваю кто со мной говорит. Хотя можно и списаться. Пишите адрес..
изнутри ИСР
#13 изнутри ИСР 20.02.2012 15:03
Посмотрел. Барнаулец, откуды у тя адрес http://www.digitgestus.com ? Это всё из проекта 1998. Догадываюсь, кто ты и догадываюсь, что ты меня знаешь). Спишемся?
Михаил Анискевич
#12 Михаил Анискевич 16.02.2012 19:24
Цитирую изнутри ИСР:
Ну, к нам с 1998 года, с года признания нашей программулины на Сибирской ярмарке (малая золотая медаль) мало кто не приезжал. И японцы, и южнокорейцы, и американцы, и сама Зайцева, которую под руку поддерживал сам лично тов. Гриф. И через год с удивлением читаем, что на кафедре московского педагогического университета под руководством Зайцевой глухие студенты сварганили компьютерного сурдопереводчика и всё остальное бла-бла-бла...


Знакомая история)) Говорят Зайцева из Москвы, заплатила Грифу за право, то ли продажи, то ли выкупила права на лицензию.. не вникал. Короче оба друг другу хитрили. Гриф деньги получил, а ребята их не видели, говорят, что Гриф их на разработку потратил, а может себе в карман положил... но это слухи. И судя по всему у Зайцевой мало что получилось. В сети можно найти онлайн сурдо-переводчи к по адресу:

http://www.digitgestus.com/

Знакомы все лица по ИСР ;-)
изнутри ИСР
#11 изнутри ИСР 16.02.2012 16:32
Ну, к нам с 1998 года, с года признания нашей программулины на Сибирской ярмарке (малая золотая медаль) мало кто не приезжал. И японцы, и южнокорейцы, и американцы, и сама Зайцева, которую под руку поддерживал сам лично тов. Гриф. И через год с удивлением читаем, что на кафедре московского педагогического университета под руководством Зайцевой глухие студенты сварганили компьютерного сурдопереводчик а и всё остальное бла-бла-бла...
ЧИТАТЕЛЬ САЙТА
#10 ЧИТАТЕЛЬ САЙТА 15.02.2012 16:59
http://www.gluxix.net/deafnews/smi-about-deaf/tech/3215-2011-06-09-21-47-13 "Японцы создали виртуального сурдопереводчика"
есть что-то общее.
Согласна
#9 Согласна 08.02.2012 11:29
Согласна о ситуации в ИСР. Посмотрите на видео, Гриф за 15 лет так и не стал изучать язык жестов, хотя как ученому это должно быть ему профессионально интересно. Ему главное - погоны, профессорские звания. Общаться напрямую ему влом, только через сурдопереводчик ов. Был у нас 1 студент, Бугаенко его фамилия. Он хвастался, что он у него и у сурдопереводчик ов любимец и рассказывал, как он защищался на инженера. Он говорил сурдопереводчик у "Я буду говорить каша, а ты переводи как надо.". Переводчик говорила как надо, Гриф глубокомыслено выслушивал и кивал головой (со слов Бугаенко). Потом о чем-то переговаривался с членами ГАК и те глубокомысленно кивали головой. Вот так вот он и получил корочки. И не надо думать, что это дикий случай, это обычный случай.
ККК
#8 ККК 05.02.2012 21:54
Цитирую изнутри ИСР:
Немало неправды. К примеру, Артем никогда не поступал в вуз. Только в колледж. И больше не хочет в вуз. Ученых тут нету. Просто игры в научные звания. Программа не имеет научной начинки, сам принимал в разработке этого проекта. Могу показать исходники, они при мне. Просто делают вид, что использован матаппарат нечеткой логики, искусственного интеллекта, Гриф на этом пузыре сделал карьеру. Серьезной работы с глухими нет, так, для галочки и бюджетной подпитки. Не ведитесь на чепуху

:-? :sad:
изнутри ИСР
#7 изнутри ИСР 05.02.2012 18:15
Немало неправды. К примеру, Артем никогда не поступал в вуз. Только в колледж. И больше не хочет в вуз. Ученых тут нету. Просто игры в научные звания. Программа не имеет научной начинки, сам принимал в разработке этого проекта. Могу показать исходники, они при мне. Просто делают вид, что использован матаппарат нечеткой логики, искусственного интеллекта, Гриф на этом пузыре сделал карьеру. Серьезной работы с глухими нет, так, для галочки и бюджетной подпитки. Не ведитесь на чепуху
Алтаец
#6 Алтаец 02.02.2012 21:50
Действительно, разработка этого комплекса длится с середины 90-х. Правильнее было бы назвать этот комплекс жестовой речи электронным словарем жестового языка. Практической помощи для изучения жестового языка этот комплекс дает не больше, чем обычный словарь иностранных слов. Ведь, как известно, язык состоит не только из отдельных слов. Интересно, почему об этом комплексе рассказывается на центральном телевидении по прошествии стольких лет? Похоже, руководство ИСоРа ищет спонсоров для дальнейшей, более эффективной разработки либо делает рекламу для продажи этого ПО.
ЛЕФ
#5 ЛЕФ 02.02.2012 14:54
Компьютерная программа никогда не заменит живого человека. Жестовый язык действительно оче7нь сложный и каждый жест состоит из пяти компонентов. Последний и самый главный из них - это мануальный!!! Спомощью которого один жест например ДОЛГ, может быть переведен как ВИШНЯ, КОМПОТ, РАБОЧИЙ, ДОЛЖНОСТЬ и т..д. Компьютер не может уловить такие тонкости, а живой человек может. Поэтому качественный перевод может быть осуществлен только живым переводчиком. Так же как и он лайн переводчик допустим с русского на английский, этот ПАКЖР будет выдавать чушь!!!
Михаил Анискевич
#4 Михаил Анискевич 02.02.2012 08:04
Эти разработки велись еще в далеких 90х годах. В институте соц.реабилитаци и нет ученых, это не наука, там сугубо практичный подход. Студенты по руководством преопдов и деканата разрабатывают различные программы, тем самым учатся чему то, практикуются. Вот и раздаются интересные идеи. Просто как всегда эти идеи тормозят отсутствие инвестиций или излишняя амбициозность деканата.
ККК
#3 ККК 01.02.2012 13:26
ХОРОШО БЫ ПОСКОРЕЙ ВНЕДРИТЬ.
нектар
#2 нектар 01.02.2012 13:00
Очень интересно. Наши учёные могут всё.
inrtc
#1 inrtc 31.01.2012 17:08
Этот проект я уже знаю, прошло 15 лет и до сих пор разрабатывает, никак не могут закончить. Я не уверен, что когда нибудь запустится. Не все студенты могут программировать и помочь Грифу профессору. Не ждите это чудо программы. Еще вам придется подождать через 20 лет и более даже, ведь жестовой язык очень сложный. Да хоть пусть без сурдопереводчик а, но в России еще нету программы, чтобы хотя бы с фильма выслушать и автоматически вывести с субтитрами грамотно.

 
Комментирование доступно только авторизированным пользователям. Вы можете пройти простую процедуру авторизации с помощью социальных сетей.

Нравятся новости «Глухих.нет»? Отблагодари рублём!




   

Авторизация

Вы можете войти с помощью социальных сетей:

или пройти обычную процедуру авторизации: