PCCar.ru - Ваш автомобильный компьютер

PCCar.ru - Ваш автомобильный компьютер (http://pccar.ru/index.php)
-   Разработка программ (http://pccar.ru/forumdisplay.php?f=27)
-   -   Голосовое управление машиной на русском языке (http://pccar.ru/showthread.php?t=18233)

filinmd 12.01.2013 14:35

С удовольствием потестирую программу :)

Vlad-bodryi 12.01.2013 15:19

как-только внедрю системный блок, тоже захочу привязать данную программку к своей лошади!

sirota 12.01.2013 17:00

Все на готове...ждемс.

admin 12.01.2013 20:57

Я тоже встану в очередь

kostya740 13.01.2013 00:03

google speech api (https://www.google.com/speech-api/...) ?

admin 13.01.2013 02:22

Для гугловской рапознавалки интернет нужен

kostya740 13.01.2013 10:21

почитал первую страницу. там говррится про Microsoft Speech API. Но он не имеет распознования на русском. Только синтезатор есть русского языка. Его слышно в демонстрации. Это мужской цифровой голос.
по распознованию знаю не по наслышке. В прошлом году готовил доклад и сравнивал гугл и мс.

Rai220 20.01.2013 23:26

Проба пера
 
Спасибо всем, кто откликнулся и изъявил желание протестировать мою софтину! Выкладываю.

Только я почти уверен, что с первого раза система мало у кого заведется, т.к. компонентов в ней получилось немало, а протестировать её на чем-либо кроме парочки своих ноутбуков я не могу... (собственно, ради этого я сейчас и выкладываю).

Системные требования
1. OS Windows 7 home premium и выше. (Будет ли работать на Home basic и xp, надо проверять).
2. Веб-камера со встроенным микрофоном. Программа заработает и на обычном микрофоне, но распознаваться почти ничего не будет. На данный момент лучше всего работают камеры InPerson HD.
3. Установленный .NET 4.5. Скачать можно тут.

Инструкция по установке:
1. Качаем архив со всем необходимым, распаковываем.
2. Устанавливаем speech_platform_sdk.msi.
3. Устанавливаем ms_recognition.msi.
4. Устанавливаем RHVoice-v0.2.161-setup.exe
5. Распаковываем recognizer.zip в любое место.
6. Идем в настройки записи звука ОС и делаем микрофон камеры устройством записи по-умолчанию (правой кнопкой). В настройках камеры выставляем средний уровень записи и отключаем усиление (далее этими показателями можно поиграть для лучшего распознавания).
7. У хороших камер часто можно включить дополнительную обработку звука, которая находится на закладке "дополнительное". Если есть - отлично! Включаем!
8. Запускаем KinectMicrophone.exe, жмем activate.
9. Сказать голосом "что за регион NN" (цифры отдельно, например что за регион один-семь-семь, а не сто-семьдесят-семь) и в идеале услышать ответ. Процесс распознавания будет отражаться на экране. Цифры в скобочках означают достоверность распознавания. Система срабатывает на фразы с достоверностью >= 0.85, причем всякий мусор с достоверностью <0.5 она будет слышать всегда, даже в тишине. На него надо просто не обращать внимания (программа так и делает).

В машине
У меня лучше всего получалось распознавание, когда я взял камеру inPersonHD и закрепил её на водительском козырьке. При этом я включил у неё опцию формирования луча направленности (в камере 4 микрофона) и убавил чувствительность почти до минимума. Так камера стала слушать меня и игнорировать музыку и шум. Подозреваю, что для других камер такая модель поведения тоже может быть оптимальной. Демонстрация работы именно такой связки есть на последнем видео.

Есть подозрение, что так же очень хорошо система будет работать с сенсором kinect. Дома это так, но в машине я пока его не проверил, т.к. ему нужно дополнительное питание, а взять негде.

В данный момент я занимаюсь разработкой собственной микрофонной решетки с АРУ и поиском алгоритмов обработки для неё. С ней результат обещает быть в разы лучше.

Dens-v 21.01.2013 18:51

После нажатия кнопки "активэйт" прога вылетает :(

Rai220 21.01.2013 21:16

Цитата:

Сообщение от Dens-v (Сообщение 243725)
После нажатия кнопки "активэйт" прога вылетает :(

Просто вылетает и все? Никакой ошибки на экран не выдается?
Можете сказать, какая у вас версия windows?

Dens-v 21.01.2013 22:45

Вложений: 1
Windows 7 максимальная 64бит, пишет что микрософт сожелеет и программа будет закрыта

goga7615 21.01.2013 23:35

При установке speech_platform_sdk.msi вылетает окно "этот установочный пакет не поддерживается этим типом процессора". Операционка тоже Windows 7 Максимальная.

Hamster 22.01.2013 00:22

Вложений: 1
Цитата:

Сообщение от goga7615 (Сообщение 243750)
При установке speech_platform_sdk.msi вылетает окно "этот установочный пакет не поддерживается этим типом процессора". Операционка тоже Windows 7 Максимальная.

Та же фигня. Правда у меня винда под виртуальной машиной Parallels запущена, поэтому не стал сначала писать. Но, видать я не один такой...
Windows 7 Ultimate видит проц так:
Вложение 29469

saber_vs 22.01.2013 18:49

Вложений: 1
прога запускается но после нажатии на активэйт то выдает ошибку:
Сигнатура проблемы:
Имя события проблемы: CLR20r3
Сигнатура проблемы 01: kinectmicrophone.exe
Сигнатура проблемы 02: 1.0.0.0
Сигнатура проблемы 03: 50fc29a6
Сигнатура проблемы 04: mscorlib
Сигнатура проблемы 05: 4.0.30319.19050
Сигнатура проблемы 06: 50b5a7b2
Сигнатура проблемы 07: 161a
Сигнатура проблемы 08: 70
Сигнатура проблемы 09: System.IO.FileNotFoundException
Версия ОС: 6.1.7601.2.1.0.768.2
Код языка: 1049
Дополнительные сведения 1: 5e19
Дополнительные сведения 2: 5e19ee1c696ef6172247e218fb962904
Дополнительные сведения 3: e0f2
Дополнительные сведения 4: e0f232445a44e91e718244947c5b3175

Ознакомьтесь с заявлением о конфиденциальности в Интернете:
http://go.microsoft.com/fwlink/?link...8&clcid=0x0419

Если заявление о конфиденциальности в Интернете недоступно, ознакомьтесь с его локальным вариантом:
C:\Windows\system32\ru-RU\erofflps.txt


Windows 7 home basic x64
я думаю проблема в .NET framework

если запустить программу и закрыть то пишет это :

Bandit 22.01.2013 23:41

Windows 7 x64, проц i3-330M, все поставил как в инструкции, ошибка обычная - без пояснений, как здесь: http://www.pccar.ru/showpost.php?p=243742&postcount=51. Т.е. прога вроде запустилась и все ок, нажимаем Активейт, проходит гдето 1-2 секунды и вылетает ошибка...

Rai220 27.01.2013 21:39

Да... печальные результаты. Получается ни у кого программа так и не заработала.

Это сказывается мой нулевой опыт в разработке под Windows, похоже :(

Ладно, надо попробовать исправляться.

Попробуйте пожалуйста установить Microsoft Speech Platform Runtime 11. Там можно выбрать под x86 или под 64 соответственно (http://www.microsoft.com/en-us/downl....aspx?id=27225) и снова запустить.

Если не получится, то буду разбираться на чистой виртуальной машине. У самого получилось запустить аж на четырех разных компьютерах, но все под win7 (64 и 32).

Hamster 27.01.2013 23:03

Цитата:

Сообщение от Rai220 (Сообщение 244456)
Попробуйте пожалуйста установить Microsoft Speech Platform Runtime 11... и снова запустить.

У меня после установки (на всяк пожарный перезагрузился) все та же фигня "ваш тип процессора не поддерживается".

Bandit 28.01.2013 10:37

Цитата:

Сообщение от Rai220 (Сообщение 244456)
Да... печальные результаты. Получается ни у кого программа так и не заработала.

Это сказывается мой нулевой опыт в разработке под Windows, похоже :(

Ладно, надо попробовать исправляться.

Попробуйте пожалуйста установить Microsoft Speech Platform Runtime 11. Там можно выбрать под x86 или под 64 соответственно (http://www.microsoft.com/en-us/downl....aspx?id=27225) и снова запустить.

Если не получится, то буду разбираться на чистой виртуальной машине. У самого получилось запустить аж на четырех разных компьютерах, но все под win7 (64 и 32).

win7x64 - после установки Microsoft Speech Platform Runtime 11 запустилась!

Bandit 28.01.2013 10:39

Кстати, ставлю на невиртуальную машину - может в этом засада у многих?

saber_vs 28.01.2013 16:11

после установки Microsoft Speech Platform Runtime 11 все прекрасно заработало.теперь буду тестить.

goga7615 29.01.2013 00:02

Цитата:

У меня после установки (на всяк пожарный перезагрузился) все та же фигня "ваш тип процессора не поддерживается".
Тоже самое!!!

Bandit 29.01.2013 00:59

тестирую с обычным микрофоном Genius и пробую на встроенном на ноуте Toshiba A500, с музыкой и без - конечно это не направленные, врядли в машине со всеми шумами они также отработают, имхо, но пока при 20см только улавливают довольно таки громкий спич...

sirota 29.01.2013 09:42

Нужно бы в инструкцию добавить: при установки NET 4.5, сначало надо установить net 4.(тогда у меня пошло....система на вынь 7/64)
Тестил(в машине) микрофоном камеры с920. Работает сервис велликолепно...разпознает слова при включенной музыки в 95%(проговаривал в пол голоса)...при отключенной музыки при проговаривании почти шопотом, разпознается 100%, хотя камера с микрофоном стоит за солонным зеркалом.
---------------------------------------------------------------------
Продолжение.
Не всегда почему то проговаривает номер региона, хотя пишет(словами) правельно.

sirota 01.02.2013 22:25

В среднем(у меня) циферки скачат от 75 до 94 единиц(при громкости произедений, чуть ниже среднего уровня).

А дальше(по проэкту).....продолжение будет?

Rai220 02.02.2013 13:03

Я очень рад, что появились люди, у кого это работает! Большое спасибо за тестирование!

С проблемой неподдерживаемого типа процессора буду бороться. Для джависта это все, конечно, очень дико, но что делать :-)

Цитата:

Сообщение от sirota (Сообщение 244944)
В среднем(у меня) циферки скачат от 75 до 94 единиц(при громкости произедений, чуть ниже среднего уровня).
А дальше(по проэкту).....продолжение будет?

Это очень хорошие значения. Сама Miscrosoft в своих примерах доверяет результатам от 0.5 Для обычных фраз и от 0.3 для длинных выражений.

Продолжение будет конечно. Как-то медленно все двигается, но двигается :)

Цитата:

Сообщение от sirota (Сообщение 244561)
Нужно бы в инструкцию добавить: при установки NET 4.5, сначало надо установить net 4.(тогда у меня пошло....система на вынь 7/64)
Тестил(в машине) микрофоном камеры с920. Работает сервис велликолепно...разпознает слова при включенной музыки в 95%(проговаривал в пол голоса)...при отключенной музыки при проговаривании почти шопотом, разпознается 100%, хотя камера с микрофоном стоит за солонным зеркалом.
---------------------------------------------------------------------
Продолжение.
Не всегда почему то проговаривает номер региона, хотя пишет(словами) правельно.

Спасибо, приятно слышит, что все работает. В инструкцию к следующей итерации обязательно добавлю (ох уж этот .net).

c920, кстати, камера очень неплохая, я тоже на ней тестировался. Но у неё был косяк - она очень сильно хватает шум. Я в комнате тестировал, где вытяжка работала, так вот на записи с камеры она её улавливала как сильный вой, хотя в реальной жизни (и на других камерах) её почти не слышно.

Номер регионов говорит только в том случае, если он есть в базе программы. Возможно, там не все.

Цитата:

Сообщение от Bandit (Сообщение 244543)
тестирую с обычным микрофоном Genius и пробую на встроенном на ноуте Toshiba A500, с музыкой и без - конечно это не направленные, врядли в машине со всеми шумами они также отработают, имхо, но пока при 20см только улавливают довольно таки громкий спич...

Почти для всех встроенных и "обычных" микрофонов помогает задирание чувствительности микрофона до максимума в нстройках ОС. Так же можно включить "усиление микрофона на 75% от максимума". Значения, конечно, усредненные, но обычно помогают. Но все равно, проводные и встроенные микрофоны решительно не подходят, т.к. в них нет АРУ. Даже в дорогих ноутбуках, в которых заявлен хороший микрофон, результат был ужасный. (Исключение - маки).

Цитата:

Сообщение от Bandit (Сообщение 244491)
Кстати, ставлю на невиртуальную машину - может в этом засада у многих?

Может, но я всё тестировал на невиртуальных, иначе целиком бы сюда машину бы выложил :)

Bandit 02.02.2013 14:34

Цитата:

Сообщение от Rai220 (Сообщение 244985)
Номер регионов говорит только в том случае, если он есть в базе программы. Возможно, там не все.

Вроде и в базе есть, и отображает/понимает правильно, но вот иногда (редко, но бывает) просто не проговаривает...

Цитата:

Сообщение от Rai220 (Сообщение 244985)
Почти для всех встроенных и "обычных" микрофонов помогает задирание чувствительности микрофона до максимума в нстройках ОС. Так же можно включить "усиление микрофона на 75% от максимума". Значения, конечно, усредненные, но обычно помогают. Но все равно, проводные и встроенные микрофоны решительно не подходят, т.к. в них нет АРУ. Даже в дорогих ноутбуках, в которых заявлен хороший микрофон, результат был ужасный. (Исключение - маки).

Вопрос от ньюба в этом: какой лучше микрофон для этого подойдет? Чтобы еще и по скайпу говорить :blush:
Поиск по нету показал по типу такого: http://www.remicon.ru/prod/dict/571/ или такого: http://www.tehnoman.ru/mik_9/ (и как с 3-мя проводками подключать?) - или это совсем не то?

sirota 02.02.2013 16:25

Цитата:

Вроде и в базе есть, и отображает/понимает правильно, но вот иногда (редко, но бывает) просто не проговаривает...

По моему дело все в цифровых значениях....все что ниже цифры 0,70(точную цифру не помню, но где то около того) не проговаривает, а когда значение выше, то говорит.

Neos 06.02.2013 01:50

Возможно добавить свою команду?

yuriy m 26.03.2013 23:34

Чет тема умерла...Куда автор делся ?

Rai220 26.08.2013 17:52

Всем привет!
Прошу прощение за долгое молчание, но проект скорее всего дальше не будет развиваться, так как я увлекся другим. Если кому-нибудь будет интересно его использовать, я готов выложить наработки как open source на github.

Сейчас я пошел в другом направлении - разговор на свободном языке, вот что получилось:


(Видео на youtube)

Думаю, истина будет лежать в интеграции этих двух технологий.

sirota 26.08.2013 21:25

Какие системные платформы будут поддерживаться?

ВладимирC 26.08.2013 22:42

Цитата:

Сообщение от Rai220 (Сообщение 268614)
Всем привет!

О, сосед, у меня дача под Вереей, в Митяево. А разработка - супер)).

Rai220 26.08.2013 23:46

Цитата:

Сообщение от sirota (Сообщение 268630)
Какие системные платформы будут поддерживаться?

Пока только Android.

Цитата:

Сообщение от ВладимирC (Сообщение 268638)
О, сосед, у меня дача под Вереей, в Митяево. А разработка - супер)).

О, правда соседи! У меня тоже дача в Митяево (СПК Русь). На речке-то уж точно встречались :)

sirota 27.08.2013 00:06

Цитата:

О, правда соседи! У меня тоже дача в Митяево (СПК Русь). На речке-то уж точно встречались
Да уж!!!
Митяево наверное точка временного континуума....я тоже там бываю....не забываемая дорога к деревни под названием "перебери подвеску" :rofl:

kristal0211 05.09.2013 14:18

Rai220 Когда мы увидим в свет проект КУБ на андроиде. Проект бомба, за этим будущее. Готов стать тестером.

yuriy m 21.09.2013 00:25

И где выложенный проект ?...

yuriy m 06.10.2013 21:25

Спасибо Rai220 выложил https://github.com/Rai220/SpeechCommands Но есть вопрос - как поменять команды ,привязать их к кнопкам и как собрать в исполняющий файл ? Я думаю многим будит интересно.

kristal0211 07.10.2013 13:59

Цитата:

Сообщение от yuriy m (Сообщение 272866)
Спасибо Rai220 выложил https://github.com/Rai220/SpeechCommands Но есть вопрос - как поменять команды ,привязать их к кнопкам и как собрать в исполняющий файл ? Я думаю многим будит интересно.

Это я так впонял, для Win'а, а где для андроида.

yuriy m 08.10.2013 18:47

Может кто нибудь из программистов,сможет выложить видео (хотя бы краткое)как и где поменять фразы,привязать к кнопкам и чем все это дело собрать(скомпилировать) ? Скажем так,- направить на путь истинный... Для толкового программиста,я думаю не слишком много времени понадобится...,но возможно многим поможет. Заранее СПАСИБО !

yuriy m 14.10.2013 00:43

Что никому эта тема не интересна ?


Часовой пояс GMT +4, время: 09:48.

Работает на vBulletin® версия 3.8.4.
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Перевод: zCarot