如何在Windows 8应用程序中应用像边缘检测oncamera流的图像效果？
我试图直接在相机Feed上应用Windows 8应用程序中的图像处理效果。 在使用直接从网络摄像头获取的效果后，我尝试了一种使用canvas和重绘图像的方法。 但这种方法适用于基本效果，但对于像边缘检测这样的效果，它会在使用canvas方法时产生大的延迟和闪烁。
其他方法是创建MFT（媒体基础变换），但它可以在C中实现，我不知道。
任何人都可以告诉我如何通过改进canvas方法直接在Windows 8 metro风格应用程序中实现我对网络摄像头流应用效果的目的，以便边缘检测等大型效果不会出现任何问题或者如何在C＃中应用MFT，因为我有没有使用C＃语言或其他方法？
我上周刚刚在这个领域玩了很多，甚至考虑写一篇关于它的博客文章。 我想这个答案可以同样好。
您可以采用MFT方式，这需要在C ++中完成，但是您需要编写的内容在C＃和C ++之间没有太大区别。 唯一值得注意的是，我认为MFT在YUV色彩空间中工作，因此您的典型卷积滤波器/效果可能会有所不同或需要转换为RGB。 如果您决定走这条路线在C＃应用程序端，您唯一需要做的就是调用MediaCapture.AddEffectAsync（）。 好吧，你需要编辑你的Package.appxmanifest等，但让我们先做第一件事。
如果您使用网络摄像头样本查看媒体捕获 – 它已经满足您的需求。 它将灰度效果应用于相机进纸。 它包括一个C ++ MFT项目，该项目在C＃版本中可用的应用程序中使用。 我不得不将效果应用到MediaElement，这可能不是你需要的，但同样简单 – 调用MediaElement.AddVideoEffect（），你的video文件播放现在应用灰度效果。 为了能够使用MFT – 您只需添加对GrayscaleTransform项目的引用，并将以下行添加到您的appxmanifest：
GrayscaleTransform.dll MFT代码的工作原理：
以下行创建像素颜色转换矩阵
float scale = (float)MFGetAttributeDouble(m_pAttributes, MFT_GRAYSCALE_SATURATION, 0.0f); float angle = (float)MFGetAttributeDouble(m_pAttributes, MFT_GRAYSCALE_CHROMA_ROTATION, 0.0f); m_transform = D2D1::Matrix3x2F::Scale(scale, scale) * D2D1::Matrix3x2F::Rotation(angle);
根据video输入的像素格式，选择不同的变换方法来扫描像素。 寻找这些线：
m_pTransformFn = TransformImage_YUY2; m_pTransformFn = TransformImage_UYVY; m_pTransformFn = TransformImage_NV12;
对于我的示例m4v文件 – 格式被检测为NV12，因此它调用TransformImage_NV12。
对于指定范围内的像素（m_rcDest）或整个屏幕内的像素（如果未指定范围） – TransformImage_~方法调用TransformChroma（mat，＆u，＆v）。 对于其他像素 – 复制原始帧中的值。
TransformChroma使用m_transform转换像素。 如果要更改效果 – 只需更改m_transform矩阵，或者如果需要访问边缘检测filter中的相邻像素，请修改TransformImage_方法以处理这些像素。
这是一种方法。 我认为这是CPU密集型的，所以我个人更喜欢为这样的操作编写一个像素着色器。 如何将像素着色器应用于video流？ 好吧，我还没到那里，但我相信你可以很容易地将video帧传输到DirectX表面并稍后调用它们的像素着色器。 到目前为止 – 我能够传输video帧，我希望下周应用着色器。 我可能会写一篇关于它的博客文章。 我从媒体引擎本机C ++播放示例中获取了meplayer类，并将其移动到模板C ++ DirectX项目转换为WinRTComponent库，然后将其与C＃/ XAML应用程序一起使用，将meplayer类创建的交换链与我的SwapChainBackgroundPanel相关联在C＃项目中使用以显示video。 我不得不在meplayer课上做一些改动。 首先 – 我必须将它移动到一个公共命名空间，使其可用于其他程序集。 然后我不得不将它创建的交换链修改为接受与SwapChainBackgroundPanel一起使用的格式：
DXGI_SWAP_CHAIN_DESC1 swapChainDesc = {0}; swapChainDesc.Width = m_rcTarget.right; swapChainDesc.Height = m_rcTarget.bottom; // Most common swapchain format is DXGI_FORMAT_R8G8B8A8-UNORM swapChainDesc.Format = m_d3dFormat; swapChainDesc.Stereo = false; // Don't use Multi-sampling swapChainDesc.SampleDesc.Count = 1; swapChainDesc.SampleDesc.Quality = 0; //swapChainDesc.BufferUsage = DXGI_USAGE_BACK_BUFFER | DXGI_USAGE_RENDER_TARGET_OUTPUT; swapChainDesc.BufferUsage = DXGI_USAGE_RENDER_TARGET_OUTPUT; // Allow it to be used as a render target. // Use more than 1 buffer to enable Flip effect. //swapChainDesc.BufferCount = 4; swapChainDesc.BufferCount = 2; //swapChainDesc.Scaling = DXGI_SCALING_NONE; swapChainDesc.Scaling = DXGI_SCALING_STRETCH; swapChainDesc.SwapEffect = DXGI_SWAP_EFFECT_FLIP_SEQUENTIAL; swapChainDesc.Flags = 0;
最后 – 而不是调用CreateSwapChainForCoreWindow – 我调用CreateSwapChainForComposition并将swapchain与我的SwapChainBackgroundPanel相关联：
// Create the swap chain and then associate it with the SwapChainBackgroundPanel. DX::ThrowIfFailed( spDXGIFactory.Get()->CreateSwapChainForComposition( spDevice.Get(), &swapChainDesc, nullptr, // allow on all displays &m_spDX11SwapChain) ); ComPtr dxRootPanelAsSwapChainBackgroundPanel; // Set the swap chain on the SwapChainBackgroundPanel. reinterpret_cast(m_swapChainPanel)->QueryInterface( IID_PPV_ARGS(&dxRootPanelAsSwapChainBackgroundPanel) ); DX::ThrowIfFailed( dxRootPanelAsSwapChainBackgroundPanel->SetSwapChain(m_spDX11SwapChain.Get()) );
*编辑如下
忘了一件事。 如果您的目标是保持纯C＃ – 如果您想出如何将帧捕获到WriteableBitmap（可能通过使用MemoryStream调用MediaCapture.CapturePhotoToStreamAsync（）然后调用流上的WriteableBitmap。SetSource （） ） – 您可以使用WriteableBitmapEx处理你的图像。 它可能不是最佳性能，但如果您的分辨率不是太高或您的帧速率要求不高 – 它可能就足够了。 CodePlex上的项目尚未正式支持WinRT，但是我有一个应该可以在这里试用的版本（Dropbox） 。
据我所知，MFT需要用C ++实现。 我相信有一个媒体转换SDK示例，它显示了从metro风格应用程序实现一些简单的转换。