在工業自動化領域中，機器視覺技術的應用已經是越發成熟，其應用范圍一直在不斷擴大。不過雖說現在機器視覺的應用已經是很常見了，但是在實際使用過程中還是會遇到許多問題，需要技術人員們不斷去解決完善，就目前機器視覺系統設計過程中，經常遇到難點主要有以下幾點：

1、光源打光的穩定性問題
由于不同材料物體表面反光、折射等問題都會影響被測物體特征的提取，因此光源打光與成像可以說是機器視覺檢測要攻克的第一個難關。比如現在玻璃、反光表面的劃痕檢測等，很多時候問題都卡在不同缺陷的集成成像上。現在工業視覺應用一般分成四大類：定位、測量、檢測和識別，其中測量對光照的穩定性要求最高，因為光照只要發生10-20%的變化，測量結果將可能偏差出1-2個像素，這不是軟件的問題，這是光照變化，導致了圖像上邊緣位置發生了變化，即使再厲害的軟件也解決不了問題，必須從系統設計的角度，排除環境光的干擾，同時要保證主動照明光源的發光穩定性。

2、工件位置的不一致性
一般做測量的項目，無論是離線檢測，還是在線檢測，只要是全自動化的檢測設備，首先做的第一步工作都是要能找到待測目標物。每次待測目標物出現在拍攝視場中時，要能精確知道待測目標物在哪里，即使你使用一些機械夾具等，也不能特別高精度保證待測目標物每次都出現在同一位置的，這就需要用到定位功能，如果定位不準確，可能測量工具出現的位置就不準確，測量結果有時會有較大偏差。

3、標定
一般在高精度測量時需要做以下幾個標定，一光學畸變標定(如果用的不是軟件鏡頭，一般都必須標定)，二投影畸變的標定，也就是因為安裝位置誤差代表的圖像畸變校正，三物像空間的標定，也就是具體算出每個像素對應物空間的尺寸。不過目前的標定算法都是基于平面的標定，如果待測量的物理不是平面的，標定就會需要作一些特種算法來處理，通常的標定算法是解決不了的。此外有些標定，因為不方面使用標定板，也必須設計特殊的標定方法，因此標定不一定能通過軟件中已有的標定算法全部解決。

4、物體的運動速度
如果被測量的物體不是靜止的，而是在運動狀態，那么一定要考慮運動模糊對圖像精度(模糊像素=物體運動速度*相機曝光時間)，這也不是軟件能夠解決的。

5、軟件的測量精度
在測量應用中軟件的精度只能按照1/2—1/4個像素考慮，最好按照1/2，而不能向定位應用一樣達到1/10-1/30個像素精度，因為測量應用中軟件能夠從圖像上提取的特征點非常少。

6、對非預期缺陷的識別
在實際應用中，往往是給定一些具體的缺陷模式，使用機器視覺來識別它們到底有沒有發生。但經常遇到的情況是，許多明顯的缺陷，因為之前沒有發生過，或者發生的模式過分多樣，而被漏檢。如果換做是人，雖然在操作流程文件中沒讓他去檢測這個缺陷，但是他會注意到，從而有較大幾率抓住它，而機器視覺在這點上的“智慧”目前還較難突破。