uchukamen | 宇宙仮面の研究室

OpenCVSharp Installation Memo

Reference

https://github.com/shimat/opencvsharp

Install OpenCVSharp

1年ぶりくらいにOpenCVSharp を使おうと思ったら、OpenCVのバージョンアップに伴い、若干 I/F に変更があったようなので、一部動かなくなっていた。そこで、環境構築と修正のメモです。

環境

Microsoft Visual Studio Community 2019 Version 16.7.3

OpenCVSharp 4.4.0

インストール手順

Reference にある手順書に従い、Visual Studio の Nuget パッケージの管理から、OpenCvSharp4, OpenCvSharp4.nuntime.win をインストールする。

古いバージョンからの変更点

以前の実装
image1.Source = OpenCvSharp.Extensions.BitmapSourceConverter.ToBitmapSource(img);

ところが、OpenCVSharp V4.4.0 では、BitmapSourceConverter が BitmapConverter に変更になったようで、ToBitmapSource が使えなくなってました。

そこで、次のように修正。
[System.Runtime.InteropServices.DllImport("gdi32.dll")] 
public static extern bool DeleteObject(IntPtr hObject);
・・・
Bitmap bmp = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(img);
IntPtr bmpPtr = bmp.GetHbitmap();
image1.Source = System.Windows.Interop.Imaging.CreateBitmapSourceFromHBitmap(bmpPtr, IntPtr.Zero, Int32Rect.Empty, BitmapSizeOptions.FromEmptyOptions());
DeleteObject(bmpPtr);
// DeleteObject しないと、メモリーリークする。

以前の実装

image1.Source = OpenCvSharp.Extensions.BitmapSourceConverter.ToBitmapSource(img);

ところが、OpenCVSharp V4.4.0 では、BitmapSourceConverter が BitmapConverter に変更になったようで、ToBitmapSource が使えなくなってました。

そこで、次のように修正。

[System.Runtime.InteropServices.DllImport("gdi32.dll")]

public static extern bool DeleteObject(IntPtr hObject);

・・・

Bitmap bmp = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(img);

IntPtr bmpPtr = bmp.GetHbitmap();

image1.Source = System.Windows.Interop.Imaging.CreateBitmapSourceFromHBitmap(bmpPtr, IntPtr.Zero, Int32Rect.Empty, BitmapSizeOptions.FromEmptyOptions());

DeleteObject(bmpPtr);

// DeleteObject しないと、メモリーリークする。

注意

Bitmap.GetHbitmap メソッドのメモリーリークに関して

その他注意事項

インストールパッケージを作成すると、プログラムが動作しない。原因を調査したところ、インストールパッケージに OpenCvSharpExtern.dll が含まれていない。依存関係が正しくセットされいないのかもしれない。

対応として、インストールパッケージに対応する OpenCvSharpExtern.dll　を追加する。このときの注意点として、OpenCvSharpExtern.dll には、Release/Debug, 64/x86 の4種類のファイルが存在している。正しいバージョンを追加しないと動作しないので注意。ここでは、

自分の環境では、32bit 版でビルドしているので、

*****\bin\Release\dll\x86\OpenCvSharpExtern.dll
を追加する。

Dependency Walker について

shimat さんのメモによると、この問題はあちこちで起こっているようで、Dependency Walker を使うとdllの依存関係を調査するのに便利とありました。
しかしながら、自分の環境(Win 10)では、 Dependency Walker V2.2に exe を追加すると、フリーズしてだめでした。Dependency Walker のあとにリリースされている Dependencies も試してみましたが、こちらも自分の環境では起動すらできませんでした。

System.Windows.Markup.XamlParseException

現象

プロジェクトをコピーして、アイコンを変更しているときに、次のエラーが発生するようになった。

System.Windows.Markup.XamlParseException
HResult=0x80131501
Message=’System.Windows.Baml2006.TypeConverterMarkupExtension’ の値の指定時に例外がスローされました。
Source=PresentationFramework
スタックトレース:
場所 System.Windows.Markup.WpfXamlLoader.Load(XamlReader xamlReader, IXamlObjectWriterFactory writerFactory, Boolean skipJournaledProperties, Object rootObject, XamlObjectWriterSettings settings, Uri baseUri)

内部例外 1:
IOException: リソース ‘iconname.ico’ を検索できません。

なお、プロジェクトには、IconName.ico ファイルは存在している。

対応

Xaml の中で、

Icon=”IconName.ico” となっていた。
これを
Icon=”iconname.ico” と修正する。

原因

ファイル名をOriginalIconName.ico から、IconName.ico に変更した。これにあわせて、リファクタリングで、OriginalIconName.ico を IconName.ico に変換した。xaml も当然、IconName.ico に書き換えられた。ファイル名もIconName.icoなので、このままで良いはずだが、この書式は、大文字小文字を識別していて、なおかつ小文字に出ないとダメなようです。

OpenCV + Python で Video でネガポジ変換

昔の写真とネガを整理していて、写真とネガが別々に保存していました。このため、ネガイメージからだとどのネガがどの写真に対応しているのか、確認が難しいです。そこで、OpenCV + Python を使って、ネガポジ変換を行ってみました。

import numpy as np 
import cv2

cap = cv2.VideoCapture(0) 
w = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
h = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

fps = cap.get(cv2.CAP_PROP_FPS)

ret, frame = cap.read()
farray = np.array(frame, dtype=np.float)

while True:
    ret, frame = cap.read()
    if frame is None:
        break
    
    wb = frame
    inv = cv2.bitwise_not(frame)

<em># White Balance の計算</em>
    wb[:,:,0] = np.clip((inv[:,:,0] - 45.0) * 255.0 / 140.0, 0, 255)  <em># b</em>
    wb[:,:,1] = np.clip((inv[:,:,1] - 55.0) * 255.0 / 120.0, 0, 255)  <em># g</em>
    wb[:,:,2] = np.clip((inv[:,:,2] - 55.0) * 255.0 / 120.0, 0, 255)  <em># r</em>


    img_hsv = cv2.cvtColor(wb,cv2.COLOR_BGR2HSV)  <em># 色空間をBGRからHSVに変換</em>
    h_magnification = 1.0  <em># 色度(Hue)の倍率</em>
    s_magnification = 1.5  <em># 彩度(Saturation)の倍率</em>
    v_magnification = 1.0  <em># 明度(Value)の倍率</em>

    img_hsv[:,:,(0)] = np.clip(img_hsv[:,:,(0)]*h_magnification, 0.0, 255.0)  <em># 彩度の計算</em>
    img_hsv[:,:,(1)] = np.clip(img_hsv[:,:,(1)]*s_magnification, 0.0, 255.0)  <em># 彩度の計算</em>
    img_hsv[:,:,(2)] =  np.clip(img_hsv[:,:,(2)]*v_magnification, 0.0, 255.0)  <em># 明度の計算</em>
    res = cv2.cvtColor(img_hsv,cv2.COLOR_HSV2BGR)  <em># 色空間をHSVからBGRに変換</em>

    cv2.imshow('Frame', res)
    
    if cv2.waitKey(30) == 27:
        break

cap.release()
cv2.destroyAllWindows()

import numpy as np

import cv2

cap = cv2.VideoCapture(0)

w = cap.get(cv2.CAP_PROP_FRAME_WIDTH)

h = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

fps = cap.get(cv2.CAP_PROP_FPS)

ret, frame = cap.read()

farray = np.array(frame, dtype=np.float)

while True:

ret, frame = cap.read()

if frame is None:

break

wb = frame

inv = cv2.bitwise_not(frame)

# White Balance の計算

wb[:,:,0] = np.clip((inv[:,:,0] - 45.0) * 255.0 / 140.0, 0, 255) # b

wb[:,:,1] = np.clip((inv[:,:,1] - 55.0) * 255.0 / 120.0, 0, 255) # g

wb[:,:,2] = np.clip((inv[:,:,2] - 55.0) * 255.0 / 120.0, 0, 255) # r

img_hsv = cv2.cvtColor(wb,cv2.COLOR_BGR2HSV) # 色空間をBGRからHSVに変換

h_magnification = 1.0 # 色度(Hue)の倍率

s_magnification = 1.5 # 彩度(Saturation)の倍率

v_magnification = 1.0 # 明度(Value)の倍率

img_hsv[:,:,(0)] = np.clip(img_hsv[:,:,(0)]*h_magnification, 0.0, 255.0) # 彩度の計算

img_hsv[:,:,(1)] = np.clip(img_hsv[:,:,(1)]*s_magnification, 0.0, 255.0) # 彩度の計算

img_hsv[:,:,(2)] = np.clip(img_hsv[:,:,(2)]*v_magnification, 0.0, 255.0) # 明度の計算

res = cv2.cvtColor(img_hsv,cv2.COLOR_HSV2BGR) # 色空間をHSVからBGRに変換

cv2.imshow('Frame', res)

if cv2.waitKey(30) == 27:

break

cap.release()

cv2.destroyAllWindows()

単純に、ネガポジ変換だけだと、全体的に青みがかった画像になり、思った色になりませんでした。そこで、青みがかった色を修正するために、ホワイトバランスの修正を行っています。これは、照明、撮像デバイス、ネガなどにより、パラメータを調整する必要があります。

ホワイトバランスは、単純にRGBのフィルムを通過した光のダイナミックレンジを一次式で正規化しているだけです。

つぎに、彩度が薄い感じだったので、RGBをHSV に変換し、彩度を1.5倍に上げてから、RGBに戻しています。これでだいたい何が写っているのか判別できるようになりました。

ほかの照明や撮像デバイスが異なると、色合いがおかしくなったりすると思いますが、地道にパラメータを調整する必要があります。

Swift UIKit Localization

Menu > File > New > File…から、次のようにStrings Fileを選択し、プロジェクトに追加する。この時のファイル名は、”Localizable.strings” とする。ファイル名の先頭は、必ず大文字Lにする。そうしないと、Localizeされない。

“Localizable.strings”　ファイルのコンテクストメニューから、”Show File Inspector” を選択し、English と Japanese を追加する。（下図参照）

コードでローカライズする場合は、次の通り。

 &nbsp; &nbsp; &nbsp; &nbsp; let localStr = NSLocalizedString("hello", comment: " ")
 &nbsp; &nbsp; &nbsp; &nbsp; print(localStr)

1 2	let localStr = NSLocalizedString("hello", comment: " ")         print(localStr)

storyboardをローカライズする場合は、PROJECT > Info > Localizations から、English, Japanese を追加する（下図参照）。

この時、”Interface Builder Storyboard” を選択する。そうすると、Interface Builderで、ローカライズ画面をデザインできる。

シミュレータのロケールは、Menu > Product > Scheme > Edit Schemeから、Application Language で選択する（下図参照）。

MNPで SIMを交換したら、xcodeから、iPhoneにインストールできなくなった

対応としては、iPhne > 設定 > 一般 > プロファイルとデバイス管理 > デベロッパAPP より、設定する。

Failed to instantiate the default view controller エラー

次のようなエラーが発生した場合、View Controller の “Is Initial View Controller” のチェックが外れており、最初にキックされる View Controller が存在していないか、確認する。Initial View Controllerがないと、アプリの起動画面が真っ黒になり、何も表示されない。

[WindowScene] … Failed to instantiate the default view controller for UIMainStoryboardFile ‘Main’ – perhaps the designated entry point is not set? for UIMainStoryboardFile ‘Main’ – perhaps the designated entry point is not set?

および、Build Settings > Packaging > Info.plist File のパスを変更

xcode でプロジェクトをコピーして、リネームした場合のエラー対応

xcode でプロジェクトをコピーして、リネームした場合、次のエラーが発生した。

Build input file cannot be found: パス名/Info.plist

対応としては、プロジェクト　＞　General　＞　Identity　＞　Choose Info.plist File　から、Info.plist を選択し、再ビルドする。

UIPickerView

 import UIKit
 

 class ViewController: UIViewController {
 

     override func viewDidLoad() {
         super.viewDidLoad()
         
     }
     @IBOutlet weak var picker: UIPickerView!
 }
 
 let items = ["1", "5", "10", "30"]
 
 extension ViewController: UIPickerViewDataSource {
     func numberOfComponents(in pickerView: UIPickerView) -> Int {
         return 1    }
     
     func pickerView(_ pickerView: UIPickerView, numberOfRowsInComponent component: Int) -> Int {
         return items.count
     }
 }
 
 extension ViewController: UIPickerViewDelegate {
     func pickerView(_ pickerView: UIPickerView, titleForRow row: Int, forComponent component: Int) -> String? {
         return items[row]
     }
     
     func pickerView(_ pickerView: UIPickerView, didSelectRow row: Int, inComponent component: Int) {
         print(items[row])
     }
 }

import UIKit

class ViewController: UIViewController {

override func viewDidLoad() {

super.viewDidLoad()

}

@IBOutlet weak var picker: UIPickerView!

}

let items = ["1", "5", "10", "30"]

extension ViewController: UIPickerViewDataSource {

func numberOfComponents(in pickerView: UIPickerView) -> Int {

return 1 }

func pickerView(_ pickerView: UIPickerView, numberOfRowsInComponent component: Int) -> Int {

return items.count

}

extension ViewController: UIPickerViewDelegate {

func pickerView(_ pickerView: UIPickerView, titleForRow row: Int, forComponent component: Int) -> String? {

return items[row]

}

func pickerView(_ pickerView: UIPickerView, didSelectRow row: Int, inComponent component: Int) {

print(items[row])

}

Tap, LongPress

 import UIKit
 

 class ViewController: UIViewController ,UIGestureRecognizerDelegate {
 

     override func viewDidLoad() {
         super.viewDidLoad()
        
         // tap
         let tapGesture:UITapGestureRecognizer = UITapGestureRecognizer(
            target: self,
            action: #selector(ViewController.tapped(_:)))
         self.view.addGestureRecognizer(tapGesture)
 

         // Long Press
         let longtPressGesture:UILongPressGestureRecognizer = UILongPressGestureRecognizer(
            target: self,
            action: #selector(ViewController.longPress(_:)))
         self.view.addGestureRecognizer(longtPressGesture)
     }
     
     @IBOutlet weak var textView: UITextView!
     
     // tap
     @objc func tapped(_ sender: UITapGestureRecognizer){
         textView.text.append(contentsOf: "tapped\n")
     }
     
     // Long Press
     @objc func longPress(_ sender: UILongPressGestureRecognizer){
         if sender.state == .began {
            textView.text.append(contentsOf: "LongPress start\n")
         }
         else if sender.state == .ended {
            textView.text.append(contentsOf: "LongPress end\n")
         }
     }

     override func viewDidDisappear(_ animated: Bool) {
         // ViewController を繰り返し使用する場合
         NotificationCenter.default.removeObserver(self)
     }    
 }

import UIKit

class ViewController: UIViewController ,UIGestureRecognizerDelegate {

override func viewDidLoad() {

super.viewDidLoad()

// tap

let tapGesture:UITapGestureRecognizer = UITapGestureRecognizer(

target: self,

action: #selector(ViewController.tapped(_:)))

self.view.addGestureRecognizer(tapGesture)

// Long Press

let longtPressGesture:UILongPressGestureRecognizer = UILongPressGestureRecognizer(

target: self,

action: #selector(ViewController.longPress(_:)))

self.view.addGestureRecognizer(longtPressGesture)

}

@IBOutlet weak var textView: UITextView!

// tap

@objc func tapped(_ sender: UITapGestureRecognizer){

textView.text.append(contentsOf: "tapped\n")

}

// Long Press

@objc func longPress(_ sender: UILongPressGestureRecognizer){

if sender.state == .began {

textView.text.append(contentsOf: "LongPress start\n")

}

else if sender.state == .ended {

textView.text.append(contentsOf: "LongPress end\n")

}

override func viewDidDisappear(_ animated: Bool) {

// ViewController を繰り返し使用する場合

NotificationCenter.default.removeObserver(self)

}

viewDidLoadで通知設定を行い、ViewController を繰り返し使用する場合、通知が複数回登録されてしまう。
この場合、
override func viewDidDisappear(_ animated: Bool) で、次のように通知を削除する。
NotificationCenter.default.removeObserver(self)

AlertController / アクションシート

     @IBAction func onTap(_ sender: UIButton) {
         let alertController = UIAlertController(title: "title", message: "message", preferredStyle: .actionSheet)
         alertController.addAction(UIAlertAction(title: "キャンセル", style: .default, handler: nil))
         alertController.addAction(UIAlertAction(title: "アクション1", style: .default, handler: {action in sender.setTitle("1を選択", for: .normal)}))
         alertController.addAction(UIAlertAction(title: "アクション2", style: .default, handler: {action in sender.setTitle("2を選択", for: .normal)}))
         present(alertController, animated: true, completion: nil)
     }

@IBAction func onTap(_ sender: UIButton) {

let alertController = UIAlertController(title: "title", message: "message", preferredStyle: .actionSheet)

alertController.addAction(UIAlertAction(title: "キャンセル", style: .default, handler: nil))

alertController.addAction(UIAlertAction(title: "アクション1", style: .default, handler: {action in sender.setTitle("1を選択", for: .normal)}))

alertController.addAction(UIAlertAction(title: "アクション2", style: .default, handler: {action in sender.setTitle("2を選択", for: .normal)}))

present(alertController, animated: true, completion: nil)

}