ADAS Распознавание пешеходов, знаков, e.t.c.
 

Приветствую

Разрабатываю системы содействия водителю ADAS. Служат для предотвращения ДТП главным образом. Распознают и классифицируют объекты на дороге.
Так вот, родилась идея сделать набор для любителей CarPC и других техноманьяков. Набор включает в себя специальную USB камеру c защитой от бликов, регулировкой по горизонту и электроникой облегчающей взаимодействие с автомобилем. Камера цепляется к популярным одноплатникам вроде Raspberry или к классическим PC. На этих платах уже запускается прилагаемое программное обеспечение, которое на основе данных камеры и данных о движении автомобиля принимает решение об опасности ситуации и выдает необходимую инфу драйверу. Картинку или голосом, как угодно. Можно еще с круизом увязать.
Вопрос: Это интересно? Купили бы камерку за 3-5тыр? Или в помойку?

Выглядит примерно так:
http://www.lgvccompany.com/ru/mp-res...no-feature.png

И видео. Снимали для локального конкурса, не обессудьте. Суть передает.

http://www.youtube.com/watch?v=jHl9HcEmbp4

Буду рад пообщаться.

Это ужасно интересно....куплю естественно.

Сходу вопрос.,..возможно ли будет привязать данную камеру ещё параллельно к видео регистрации,..так сказать что бы не плодить две камеры на лобовухи.
Использую вебку с920 от логитека с разрешением 1920х1080, 30fpsm

Как соберу себе карписи, думаю стоит купить такую вещь! И регистрация, и предупреждение..... Просто замечательная вещь! Только я бы немного изменил интерфейс. Уж какой-то он деревянный что-ли. Сделайте его более интересным и цены не будет девайсу!

Интересно.., суть на видео видно :) позитивно.. А в реальности ПО будет голосом (мне так видится удобней) в фоне кричать об опасности..
Все таки прикрути свое творение к авто и покажи видео в движении..
Сирота прав, зачем сколько то камер, когда уже есть одна и пишет видео.. Надо, имхо, в ПО, поставить выбор камеры.. У пскашников они, как правил, есть
А вот с круизом увязать.. Это как? На опасность будет тормозить? Интересно

Кстати круиз тоже интересует! На сколько знаю круиз только набирает скорость, но тормозить он не умеет! Как это будет реализовано?

По круизу думаю будет обычный сброс установленной скорости....типа нажал на тормоз .,.очень нужная вещь.
Думается знаки тоже должен читать и предупредить если водитель варежку разинул и пропустил знак пешеходный переход не сбросив скорости, и.т.д

Поживем, увидем..

Вообще возможно, но могут тормоза появится, для распознавания лучше выделять отдельный сенсор. Я думал двухглазую:shok: камеру сделать, но решил сначал сосредоточиться на том что уже есть. Ресурсов не так много у нас.

Особенности конструкции камеры это компромисс между функционалом и ценой изготовления пресс-форм для литья пластика. Вчера вот зашел к одним производственникам, так они насчитали так что одна камера выходила в 4-5тыр и только пластмасса. Поэтому ищу в Китае партнеров.

Голосом, да удобнее. Так все делают, вроде MobilEyE и им подобным.
А вот несколько камер это нормально. Для регистратора нужно иметь большой угол обзора и высокое разрешение. Для распознавалки ADAS нужно 30 градусов и 640x480. В FullHD распознавать объекты очень долго на доступных железках. У новых мазд 3 глаза. У мерсов, субарей, роверов, опелей по два. И это только для нужд ADAS.

С круизом алгорим простой: Догоняем - сбрасываем газ, кричим о том что надо тормозить, если близко

Так же хочу сказать сразу все идеально работать не будет. Система сложная. Китайцы свои недоделанные клоны MobilEye продают за 40тыр. А я хочу сделать так что пошел купил какую нибудь Raspberry, нашу камеру, повесил в машину и все. Да, сначала все будет глючить, умирать и чтобы пользоваться девайсом нужно будет подружиться с Linux-ом. Но цена будет смешная и девайс мега интересный. Да и практика показывает что совместными усилиями такие проекты допиливаются до серьезного уровня.
Очень рад что у уважаемой публики проявился живой интерес, потому как в процессе над "совсем коммерческой" версией живого отклика у обычных автовладельцев не было. Помимо этого у нас были переговоры с КАМАЗом, РЖД и прочими. Успехов никаких, всем надо готовое.
Вот еще немного про нас:
http://www.nvidia.ru/object/jetson-t...-study-ru.html

Да, кстати, если кто из Новосиба есть, могу сводить в нашу лабораторию, показать все "внатуре"

Под словом железняка вы говорите о своём устройстве?
Просто у нас у многих довольно сильное компьютерное железо и софтная обработка больших разрешений не проблема, но если эта проблема в вашем железе то придётся мирится....а так хочется иметь красивую картинку на экранах 7- 10 дюймов.

P.S Просто смотришь сейчас на китайские регистраторы и диву даешься,.,.угол обзора 170 град. Фул HD разрешение 30 кадров в секунду и выше и все это не за большие деньги......вот бы ихнию камеру выдрать, да на ваше устройство прикрутить

Под железками я понимаю широко доступные одноплатные компутеры типа распбери итд. На классическом PC так же все работает.

Софтовая обработка видео это не проблема, а вот поиск объектов это проьлема. Хорошо будет работать в hd формате на карточке gtx Titan.
А сенсор выдрать и при крутить это просто. Угол обзора в 30 градусов у систем ADAS сделан в том числе и для того чтобы исключить посторонние оптические помехи типа фар на встречке.

Мы кстати с китайским сенсорном делали девайс для автоматического управления дальним светом, вот угол обзора широкий надо

А вот такую ваговскую камеру сможете прикрутить для этих целей?
https://cdn.riastatic.com/photosnew/..._19457311m.jpg
Камеру могу пожертвовать для экспериментов (с возвратом)

Конкретно у меня туареговская, на ауди/порше стоят такие же, отличаются только форм фактором. В оригинале она служит для управления адаптивным светом, сигнал идет на собственный блок управления. Сигнал 2 х проводной LVDS. Можно попытаться его "отснифить", вставив дополнительный повторитель между камерой и блоком управления.

Задача - выдрать сигнал, обработать его, выделить затаившихся пешеходов (и дорожные знаки, если повезет !!!!) контрасными квадратиками и отдать его в каком нибудь удобоваримом виде на монитор.

Возьметесь?

Мне проще ее купить и разбомбить чем потом возвращать. Там камера невысокого разрешения даже для меня. Лдвс сниффить дорого. Проще сделать самим красиво и с выводом на монитор как вы хотите. Да и редкий зверь Ваш девайс. Для народного проекта не пойдет

Вот наши текущие прототипы. Напечатали на принтере. Одна штука вышла в 4000руб
https://yadi.sk/i/fftGN0X-i3ckM
https://yadi.sk/i/fftGN0X-i3ckM

Тёмыч, это там твоя жена? ))

в последнем эпизоде, где качок в красной майке бегает )) там настройка на пешеходов? как-то явно машины не попадают в фокус

И тут ты:) это не качок, он просто жирный:) а девочка была за 2000руб в час:pleasantry:

Про фокус не понял. Распознаёт четко, просто кружок не всегда четко на машинку ложится, но это мелочи

и недорого... )))
там где качок бегает, много машин проезжает, но кружков нету, только худой мальчик в прямоугольнике
мальчик квадратный ковер выбивает ©

Там классификатор автомобилей отключен. На тот момен одновременное распознавание пешиков и машин не работало. Снимали год назад

воооот я же и спросил "чтоли режим переключен"

а знаки где? знаки оно распознает?

на 2.16 и на 2.30 примерно ложные квадратики ))

Тёмыч, а не пробовал ничего делать в сторону ночного видения? как на мерсах

Не докапывайся:smile2: яж сказал все глючит. Если хочешь чтобы все было идеально- цена будет килоевро за одну железяку.
А мы пытаемсяя к дешевому железу адаптировать.
Найт вижн пока не интересен.

ну пидэстры и ночью по дороге бегают, причем ночью они конкретно мешают... днем я их и сам вижу, если на обочину не смотрю )

Самый простой способ: оторвать ик фильтр у кетайской вебки и подсветить обочину ик прожектором . Будет как на лэнд крузере

это будет всё видно, а как же квадратные мальчики?

а вот тут уже можно классификатор включать. Но, повторюсь, пока я нацелен на минимально рабочий фунционал. Квадратные мальчики пока только в видимом диапазоне.

С удовольствием потестю софт если интересно. Ip камера hikvision, 1920x1080 win7 i3

С IP камерами задержки неприемлимые. Вот сказали бы: "C удовольствием попробую вашу камеру" :yes2: Чтобы понять функционал, могу порекомендовать софтину RoadAr для смартфона.

А вообще, насколько я понял, архитектура x86 сдает позиции в carPC, или я не прав?

Ну как сказать....каждый кулик хвалит своё болото.....мне например комфортнее решать задачи на РС. Так как считаю эту ось более гибкой, так как решаю на ней все свои задумки включая и мобильные приложения.



https://youtu.be/1hPPLRBBIqc

https://youtu.be/gTjGl5i_Z0k

Так, что ждём прошу для теста.

На породистых машинах стоят не обыкновенные камеры, а тепловизор, скорей всего на основе болометра. И самая распрекрасная но обыкновенная камера без фильтра и с Ик подсветкой на киловатт, будет выглядеть только лишь жалкой пародией. Одна камера(без моника) стоит более 2тысяч баксов. Можно даже купить. см. - флир патфайндер ИК.

Artemka
Не в качестве поругания, а только по незнанию и желанию узнать.)
1. А что в камере такого особого? Чем она отличается таким особым?
2. И зачем эта пластмассовая шутка нужна и какую функцию она выполняет?
Может быть и ошибаюсь, но на мой взгляд кроме программного обеспечения под конкретную платформу остальное всё должно быть стандартным.

Хорошие вопросы. Отвечаю.
К камерам предназначенным для работы в составе ADAS, есть ряд требований, это Защита от оптических помех (за это отчасти отвечает пластиковая конструкция), стабильный фиксация на кузове или в салоне. Плюс желательна предварительная обработка изображения дабы облегчить страдания вычислительного узла. Обработка это перевод в градации серого, бинаризация, выделение контуров, и другие простые операции. Вот мы такое и делаем.
Можно конечно и вебку обычную повесить и прикрутить к ней софт - будет дешево, будет как то работать, но весь возможный функционал софта не реализуется.
А вообще спасибо за вопрос. Я серьезно задумался на предмет того что действительно нужно в сфере CarPC

Попросту говоря бленда с креплением) А если ещё и cpl фильтр добавить, то помех и не должно быть вовсе. (кстати, от обыкновенного линейного фильтра будет точно такой же эффект, только значительно дешевле)
Я даже не представляю, где такую конструкцию можно установить в машине и чтобы особо заметно не было (к сожалению наша реальность такая).

Но ведь любая ч.б. камера в градациях серого уже и так работает. Кроме этого и чувствительность выше и шумов значительно меньше.
А остальное, отдельное устройство делает, а не программно?
И IMHO, правильнее не квадратиками выделять, а контрастным цветом выделять сам объекта, тем более что выделение контура и так есть. Кстати, так на бомбах и реализуется .

Как раз не заметно, крепится на самый верх лобовика, за зеркало заднего вида. Себе вешаю когда, вообще не видно камеры.

По поводу мат.обработки. Да все можно легко делать программно на целевой платформе. Но та же бинаризация выполняемая на каждый кадр 640x480 30раз в секунду, очень хорошо кушает время проца, поэтому решили хардварно сделать. Опять же я могу это субъективно ощущать, а обычный пользователь этого и не заметит.
А если Вы используете обычную вебку, что бы Вы в ней улучшили?

Я говорил про свою машину, а эта конструкция под другую) У меня лобовое сверху как раз за зеркалом имеет широкую полосу сквозь которую камера не работает. Но не тонировка, а как сеточка в горошек.)) Поэтому крепление под потолок не годится.

Вебки у меня нет и не было, есть только регистратор в зеркале. Пришлось доделывать крепление зеркала и одна из причин - из-за полосы, и датчика дождя, который ещё ниже полосы висит на стекле, и всё это закрывало обзор
Так и нужно сделать)) А с железом пускай каждый сам для себя решает.(imho)
Конструктивных отличий множество и универсальный вариант видимо не пройдёт.
А так, конечно вещь нужная, только меня терзают смутные сомнения, что всё это будет 100% корректно работать.

Да, пока 100% корректно не будет, боле менее нормальные решения выходят крайне дорогими

Как будет работать покажет время.. Но все таки для обкатки нужно дать ПО и инструкцию, что куда прикрутить , а потом каждый режит, брать сие или нет, имхо..
Это мне, по крайней мере, напоминает Глашу.. :), помните такую..? Начиналось все вот также.. Интересно, необычно... Но вот я, например, наигрался..
Поэтому, земляк, запускай свое творение в массы!!!

Есть такое мнение, что серьезные процессорные задачи типа распознавания видео высокого разрешения на лету надо делать на полноценных процессорах. А архитектура х86 не сдает позиций - как было их минимум, так и остается. Зато китайские нафигаторы миллиардами выпускаются и выкидываются, да и мобилки еще, но отлаживать новый софт на них грустно.